大语言模型里面的token的含义和源流
Tue 10 March 2026
·
LLM
在大语言模型(Large Language Model, LLM)中,Token(令牌、词元、子词单元)是模型处理文本的最小单元。可是怎么翻译呢?今天群里一位老师就这样 …
在大语言模型(Large Language Model, LLM)中,Token(令牌、词元、子词单元)是模型处理文本的最小单元。可是怎么翻译呢?今天群里一位老师就这样 …