RedPajama 计划 —— 该计划旨在创建一系列领先的、完全开源的大型语言模型，计划从发布一款基于 GPT-2 的 16 亿参数的模型开始。
RedPajama是一个完全开源的语言模型计划，旨在打造领先的开源模型。该项目第一阶段已完成，复现了LLaMA培训数据集超过1.2万亿个标记。RedPajama的三个关键组成部分包括预训练数据、基础模型和调整数据和模型…
主题标签
语言模型
关于该主题的全部内容，按发布时间持续更新。
1
篇内容