Tokenization:模型怎麼看文字
模型看到的不是字或詞,而是 token——一種你意想不到的文字切割方式
Tokenize
自由輸入使用近似分詞,結果僅供參考(預設案例使用真實 tokenizer 資料)
原始文字
Token 列表
Token 數:
0
字元數:
0
Token/字元比:
0.00