剖腹数粉:中英分词效率对比
切分
本土大模型 (模拟)
0 Tokens
更懂中文,尽量按词组切分,刀数少,省钱。
海外大模型 (模拟)
0 Tokens
中文词表小,大概率被切成单字或乱码块,刀数多,费钱。