常见问题

为什么有些模型是「估算」而不是精确计数?
Anthropic、Google 等多数厂商未提供可在浏览器安全运行的现行分词器。其官方 count_tokens API 会上传文本——我们绝不调用。OpenAI 与 Qwen/GLM 使用本地精确分词;Claude、Gemini、Llama、Mistral、DeepSeek 仅为规划用本地估算。
哪些模型是精确计数?
OpenAI GPT / o 系列使用本地 js-tiktoken。Qwen2.5 与 GLM-4 使用浏览器 Transformers.js 分词器(首次下载后为精确)。Claude、Gemini、Llama、Mistral、DeepSeek 仍为估算。
我的提示词会上传吗?
不会。计数完全在浏览器完成。草稿默认关闭;若开启,仅保存在本机 localStorage。
Claude / Gemini 估算有多准?
为本地近似(基于 o200k 代理),非官方分词器。仅作规划参考。账单级精确请在自有环境使用厂商 API。
什么是 ChatML 框架 Token?
Chat API 会为每条消息加上角色标记与少量固定开销。对话模式计入该开销,使多轮预算更接近真实请求。
什么是上下文窗口溢出?
每个模型都有上下文上限。进度条从 70% 起变黄,90% 或超限变红,并提示截断风险。
费用如何估算?
按公开标价(美元 / 百万输入输出 Token)估算。价格截至 2026-10-23。可选费用告警阈值可在超预算时红色高亮。
什么是对话模式?
按 System / User / Assistant 统计,并含 OpenAI 风格 ChatML 框架开销。可导入 messages JSON,导出含每条 Token 的 JSON。
如何分割长文档?
打开「按 Token 上限分割」。设置每段上限。Markdown 感知模式优先在标题/段落处切开,并尽量不切断代码块。
如何带重叠窗口做 RAG 切分?
在分割页设置「重叠(Token)」。下一段会以上一段末尾 N 个 Token 开头。设为 0 可关闭。
可以一次统计很多文件吗?
可以——批量 Token 计数支持多选本地 .md / .txt,查看汇总表并导出 CSV。
可以自定义单价或编码吗?
在选项中启用自定义 USD/百万 Token,或强制 tiktoken 编码。偏好保存在 localStorage,可用「清除本地设置」重置。
PWA 能离线用吗?
首次访问(或安装应用)后,Service Worker 会预缓存壳层与 tiktoken。Qwen/GLM 分词器在首次下载后也会缓存。
Markdown 清理选项怎么用?
可分别开关:移除 Mermaid、移除代码块、剥离 HTML、剥离链接、压缩空白、剥离 Markdown 标记。
博客在哪里?
ThinkPHP 提供 /blog、/api/blog/* 与 /backend。本地 Nuxt 开发可将这些路径代理到 PHP。