按 Token 上限分割文本
将长 Markdown 或提示词切成不超过上限的片段,可选重叠窗口便于 RAG。本地运行,不上传。
除非另行说明,本页所有处理均在浏览器本地完成。
示例文本
试试
分割在浏览器本地完成。文本不会离开本机。
原文
片段 (0)
暂无片段。
使用方法
- 粘贴长文档、加载本地文件,或点示例文本。
- 设置每段 Token 上限,以及可选的重叠窗口。
- 开启 Markdown 感知,优先在标题/段落处切开,并尽量不切断代码块。
- 复制片段,或导出 Markdown / CSV / JSON。
- 用「试试」预设(RAG + 重叠 / 紧凑切块 / 代码友好)一键体验典型参数。
常见问题
如何分割长文档?
打开「按 Token 上限分割」。设置每段上限。Markdown 感知模式优先在标题/段落处切开,并尽量不切断代码块。
如何带重叠窗口做 RAG 切分?
在分割页设置「重叠(Token)」。下一段会以上一段末尾 N 个 Token 开头。设为 0 可关闭。
Claude / Gemini 的片段一定不超过上限吗?
仅大约如此。估算模型使用代理分词器——若需相对厂商真实分词器留余量,请预留约 10–15%。
我的提示词会上传吗?
不会。计数完全在浏览器完成。草稿默认关闭;若开启,仅保存在本机 localStorage。