← 所有标签

标签：Tokenizer

共 2 篇文章。

• 2026年9月1日

  各家 tokenizer 差异对中文成本的影响

  同一段中文文本在 GPT、Claude、国产大模型的 tokenizer 下 token 数能差出 1.5 倍以上，实测拆解差异来源与省钱思路。

• 2026年7月11日

  LLM stop token 设计完全指南：从训练机制到业务场景选词

  讲解 LLM stop token 的底层机制、训练时特殊 token 与推理时自定义停止词的区别，以及针对结构化输出、多轮对话、工具调用等场景的选词方法论。