BPE：从字节到子词

DIRECT ANSWER · VERIFIED SOURCES · 2026-07-22

BPE为什么能用有限词表表示任意文本？

字节级BPE先把文本表示成UTF-8字节，再反复把训练语料中最常见的相邻token对合并为新token。编码时按照学到的合并规则重放这一过程。因为最底层词表覆盖全部256种字节，即使一个字符、语言或代码片段从未在训练中出现，也仍能退回到字节序列，所以不会产生未知词。

关键结论

• 合并次数决定词表大小；词表越大通常序列越短，但模型参数和稀有token也会增加。
• 训练BPE学习的是压缩规则，不是词义边界；一个token不一定对应一个词。
• encode与decode必须严格往返，特殊token需要独立的权限和冲突处理。

边界与常见误解

BPE结果还受Unicode规范化、预分词、正则规则和合并排序影响。比较不同tokenizer时，应同时报告词表、语料、压缩率和特殊token规则。

一手来源

• Sennrich et al. · Neural Machine Translation of Rare Words with Subword Units
• Andrej Karpathy · minbpe
• OpenAI · tiktoken

UTF-8

UTF-8位于字符串与模型之间。BPE 反复合并高频相邻单元来换取更短序列，但词表、字节边界和特殊 token 会直接影响多语言、公平性与数字处理。

pair merge

pair merge位于字符串与模型之间。BPE 反复合并高频相邻单元来换取更短序列，但词表、字节边界和特殊 token 会直接影响多语言、公平性与数字处理。

vocabulary

vocabulary位于字符串与模型之间。BPE 反复合并高频相邻单元来换取更短序列，但词表、字节边界和特殊 token 会直接影响多语言、公平性与数字处理。

encode/decode

encode/decode位于字符串与模型之间。BPE 反复合并高频相邻单元来换取更短序列，但词表、字节边界和特殊 token 会直接影响多语言、公平性与数字处理。