Mistral Large
Mistral AI 发布了 Mistral,这是他们最先进的大型语言模型(LLM),具有强大的多语言、推理、数学和代码生成能力。Mistral Large 通过名为 la Plataforme 的 Mistral 平台和 Microsoft Azure 提供。它也可以在其新的聊天应用 le Chat (在新标签页中打开)中测试。
下表显示了 Mistral Large 与其他强大 LLM(如 GPT-4 和 Gemini Pro)的对比情况。在 MMLU 基准测试中,它以 81.2% 的得分位居 GPT-4 之后,排名第二。
Mistral Large 能力
Mistral Large 的能力和优势包括
- 32K token 上下文窗口
- 具有原生多语言能力(流利支持英语、法语、西班牙语、德语和意大利语)
- 在推理、知识、数学和编码基准测试中表现强大
- 原生支持函数调用和 JSON 格式
- 还发布了一个名为 Mistral Small 的低延迟模型
- 凭借其精确的指令遵循能力,允许开发者设计内容审核策略
推理与知识
下表显示了 Mistral Large 在常见的推理和知识基准测试中的表现。它在很大程度上落后于 GPT-4,但与其他 LLM(如 Claude 2 和 Gemini Pro 1.0)相比是更优秀的模型。
数学与代码生成
下表显示了 Mistral Large 在常见的数学和编码基准测试中的表现。Mistral Large 在 Math 和 GSM8K 基准测试中表现出色,但在编码基准测试中被 Gemini Pro 和 GPT-4 等模型显著超越。
多语言能力
下表展示了 Mistral Large 在多语言推理基准测试中的表现。Mistral Large 在所有语言(包括法语、德语、西班牙语和意大利语)中均优于 Mixtral 8x7B 和 Llama 2 70B。
Mistral Small
除了发布 Mistral Large,还宣布了一个名为 Mistral Small 的小型优化模型。Mistral Small 针对低延迟工作负载进行了优化,并且性能优于 Mixtral 8x7B。Mistral AI 报告称,该模型在 RAG 支持、函数调用和 JSON 格式方面具有强大能力。
Mistral 端点与模型选择
这里 (在新标签页中打开)是 Mistral AI 提供的所有端点列表。
Mistral AI 还发布了一份全面的指南 (在新标签页中打开),内容涉及在权衡性能和成本时如何更好地选择模型。