跳到内容

分词器(Tokenizer)

将原始文本拆分为模型可处理的词元、并能反向还原的组件。

相关资源