分词器

Tokenizer是世界基础模型的核心组件之一，负责将各种模态的连续数据编码为离散的token序列。在视觉领域，视频Tokenizer将视频帧编码为视觉token；在动作领域，动作Tokenizer将连续动作空间离散化。Tokenizer的质量直接影响模型的表征能力和生成质量。