單項選擇題

在大語言模型中,什么是tokenizer()?

A.用于將文本轉(zhuǎn)換為模型可處理的數(shù)值向量的工具
B.用于評估模型性能的指標
C.模型訓練時的優(yōu)化算法
D.模型輸出的文本格式

微信掃碼免費搜題