Mistral AI 与 NVIDIA 推出 NeMo：强大高效的 120 亿参数模型

Mistral NeMo 的主要特性

Mistral NeMo 于 2024 年 7 月 18 日发布，拥有 120 亿参数，这本身就是一个令人印象深刻的数字。然而，真正使其从众多竞争对手中脱颖而出的是其巨大的 128,000 令牌上下文窗口。这种能力使该模型能够将极其冗长和复杂的文本作为一个连贯的单元进行处理，从而显著提高理解和生成任务的性能。

该模型是使用 NVIDIA DGX Cloud AI 平台开发的，利用了至少 3,072 个 H100 80GB Tensor Core GPU。这种强大的计算能力使 Mistral NeMo 获得了复杂的性能，使其在其类别中独树一帜。

性能和应用领域

Mistral NeMo 在众多自然语言处理任务中表现出色。无论是文本生成、内容摘要、跨语言翻译还是情感分析，该模型都能提供高水平的性能。开发者尤其强调了其在推理、应用常识和处理编程任务方面的卓越表现。

其最有趣的创新之一是 “Tekken” 分词器，与其他分词器相比，它可以为源代码和几种主要语言实现大约 30% 更高效的压缩。对于某些语言，如韩语和阿拉伯语，这种效率提升甚至更高。

对比和定价

在性能基准测试中，Mistral NeMo 12B 在各种测试中的准确性和效率方面均超越了谷歌的 Gemma 2 (9B) 和 Meta 的 Llama 3 (8B) 模型。其定价也极具竞争力：通过 Mistral 的 API 处理 100 万个输入和输出令牌仅需 0.30 美元，远低于 GPT-4 或 Mixtral 8x22B 等更大的模型。

技术细节和可用性

模型权重在 HuggingFace 平台上以基础版和指令微调版提供。开发人员可以使用 mistral-inference 工具来使用它，并使用 mistral-finetune 对其进行微调。对于企业部署，Mistral NeMo 还可以通过 ai.nvidia.com 作为 NVIDIA NIM 推理微服务访问。

至关重要的是，该模型旨在在单个 NVIDIA L40S GPU、消费级 GeForce RTX 4090 或 RTX 4500 Ada Generation GPU 上高效运行。这种相对适度的硬件要求显著降低了企业实施的门槛，并使先进 AI 更容易被研究人员和小型团队所使用。

应用机会

Mistral NeMo 具有卓越的通用性。它可以部署在众多领域，从企业级 AI 解决方案、聊天机器人和对话式 AI 系统到复杂的文本分析和研究应用。其多语言能力使其对全球性公司特别有吸引力。此外，其编码准确性使其成为软件开发和代码生成领域的宝贵工具。

Mistral NeMo 的发布无疑标志着语言模型发展史上的一个重要里程碑。大型上下文窗口、先进的推理能力和高效的分词相结合，为用户提供了一个强大的工具，可能会彻底改变许多领域中的 AI 应用。随着越来越多的开发者和公司开始使用它，我们可以期待新的、创新的应用和解决方案的出现，从而进一步扩展人工智能的可能性。