Grok-1
Grok-1 是一个具有 3140 亿参数的专家混合 (MoE) 大型语言模型 (LLM)，其中包含了基础模型权重和网络架构的开源发布。
Grok-1 由 xAI 训练，包含一个 MoE 模型，该模型在推理时会激活给定 token 权重的 25%。Grok-1 的预训练截止日期是 2023 年 10 月。
正如官方公告 (在新标签页中打开)中所述，Grok-1 是预训练阶段的原始基础模型检查点，这意味着它尚未针对任何特定应用（如对话代理）进行微调。
该模型已在 Apache 2.0 许可 (在新标签页中打开)下发布。
结果与能力
根据最初的公告 (在新标签页中打开)，Grok-1 在推理和编码任务中展现了强大的能力。最新的公开结果显示，Grok-1 在 HumanEval 编码任务中达到 63.2%，在 MMLU 中达到 73%。它通常优于 ChatGPT-3.5 和 Inflection-1，但仍落后于 GPT-4 等改进型模型。
据报道，Grok-1 在匈牙利高中数学毕业考试中获得 C 等（59%），而 GPT-4 获得 B 等（68%）。
在此查看模型：https://github.com/xai-org/grok-1 (在新标签页中打开)
由于 Grok-1 的规模（3140 亿参数），xAI 建议使用多 GPU 机器来测试该模型。