按 Token 上限分割文本

将长 Markdown 或提示词切成不超过上限的片段,可选重叠窗口便于 RAG。本地运行,不上传。

除非另行说明,本页所有处理均在浏览器本地完成。

示例文本
试试

分割在浏览器本地完成。文本不会离开本机。

原文

片段 (0)

暂无片段。

使用方法

  1. 粘贴长文档、加载本地文件,或点示例文本。
  2. 设置每段 Token 上限,以及可选的重叠窗口。
  3. 开启 Markdown 感知,优先在标题/段落处切开,并尽量不切断代码块。
  4. 复制片段,或导出 Markdown / CSV / JSON。
  5. 用「试试」预设(RAG + 重叠 / 紧凑切块 / 代码友好)一键体验典型参数。

常见问题

如何分割长文档?

打开「按 Token 上限分割」。设置每段上限。Markdown 感知模式优先在标题/段落处切开,并尽量不切断代码块。

如何带重叠窗口做 RAG 切分?

在分割页设置「重叠(Token)」。下一段会以上一段末尾 N 个 Token 开头。设为 0 可关闭。

Claude / Gemini 的片段一定不超过上限吗?

仅大约如此。估算模型使用代理分词器——若需相对厂商真实分词器留余量,请预留约 10–15%。

我的提示词会上传吗?

不会。计数完全在浏览器完成。草稿默认关闭;若开启,仅保存在本机 localStorage。

相关工具