剖腹数粉:中英分词效率对比

本土大模型 (模拟)0 Tokens

更懂中文,尽量按词组切分,刀数少,省钱。

海外大模型 (模拟)0 Tokens

中文词表小,大概率被切成单字或乱码块,刀数多,费钱。