Hugging Face Blog·· 11 天前
Hugging Face tokenizers v1 发布：编码解码与扩展性能实测
tokenizers v1: encode, decode and scaling, measured
SI 导读
Hugging Face 发布 tokenizers v1，在保持与 v0.23 相同 token ID、API、词表和 merge ranks 的前提下重写性能，速度常达 v0.23 的数十倍。
SI 评分48
来源：Hugging Face Blog · huggingface.co