英伟达美东时间2日周二披露了与法国人工智能（AI）初创公司Mistral AI合作取得的重大突破。通过采用英伟达的最新芯片技术，Mistral AI开源模型家族的新成员在性能、效率和部署灵活性上实现跨越式提升。

这一合作成果的核心是，Mistral Large 3这一大型模型在英伟达GB200 NVL72系统上实现了相比前代H200芯片10倍的性能提升。这种性能飞跃转化为更好的用户体验、更低的单次响应成本以及更高的能源效率。该模型在每兆瓦（MW）能耗下可实现每秒超过500万个token的处理速度。

除大型模型外，名为Ministral 3的小型模型系列也针对英伟达边缘平台进行了优化，可在RTX PC、笔记本电脑和Jetson设备上运行。这使得企业能够在云端到边缘的任何场景部署人工智能应用，无需依赖持续的网络连接。

Mistral AI周二发布的新模型家族包括一个大型前沿模型和九个小模型，均可通过Hugging Face等开源平台和主流云服务商获取。业内人士认为，这一系列发布标志着开源AI进入"分布式智能"新阶段，弥合了研究突破与实际应用之间的差距。

GB200系统助力大模型性能突破

Mistral Large 3是一个混合专家模型（MoE），拥有675亿总参数和410亿活跃参数，以及25.6万token的上下文窗口。该架构的特点是仅激活对每个token最具影响力的模型部分，而非启动所有神经元，从而在保持精度的同时实现高效扩展。

英伟达称，通过利用一系列专为大型先进MoE量身定制的优化技术，Mistral Large 3在英伟达GB200 NVL72上实现了同类最佳性能。

英伟达通过三项关键技术优化实现了性能突破。首先是Wide Expert Parallelism技术，通过优化的MoE内核、专家分配和负载均衡充分利用NVLink的连贯内存域。其次是NVFP4低精度推理技术，在保持精度的同时降低计算和内存成本。第三是Dynamo分布式推理框架，通过分离预填充和解码阶段提升长文本处理性能。

该模型已兼容TensorRT-LLM、SGLang和vLLM等主流推理框架。开发者可以通过这些开源工具在不同规模的英伟达GPU上灵活部署模型，选择适合自身需求的精度格式和硬件配置。

小模型瞄准边缘设备部署

Ministral 3系列包含九个密集型高性能模型，涵盖30亿、80亿和140亿三种参数规模，每种规模又提供基础版、指令版和推理版三个变体。所有变体均支持视觉功能，处理12.8万至25.6万token的上下文窗口，并支持多语言。

这些小型模型在英伟达RTX 5090 GPU上可实现每秒最高385个token的推理速度。在Jetson Thor设备上，vLLM容器在单并发下可达每秒52个token，在8个并发下可扩展至每秒273个token。

英伟达与Ollama和llama.cpp合作优化了这些模型的边缘性能。开发者可以在GeForce RTX AI PC、DGX Spark和Jetson设备等英伟达边缘平台上运行这些模型，实现更快的迭代速度、更低的延迟和更强的数据隐私保护。

由于单个GPU即可运行，Ministral 3可部署在机器人、自动驾驶无人机、汽车、手机和笔记本电脑等设备上。这种部署灵活性使得人工智能应用能够在网络连接受限或无网络环境下运行。

Mistral新模型家族商业化提速

Mistral AI周二发布的新模型系列是该公司追赶OpenAI、谷歌和DeepSeek等领先AI实验室的最新举措。这家成立于2023年的公司在去年9月完成17亿欧元融资，其中荷兰芯片设备制造商ASML贡献13亿欧元，英伟达也参与其中，估值达到117亿欧元。

Mistral AI的联合创始人兼首席科学家Guillaume Lample表示，尽管大型闭源模型在初始基准测试中表现更好，但经过针对性微调后，小型模型在企业特定用例上往往能匹敌甚至超越大型模型。他强调，绝大多数企业用例可以通过微调后的小型模型解决，且成本更低、速度更快。

Mistral AI已开始加速商业化进程。本周一，该公司宣布与汇丰银行达成协议，为这家跨国银行提供从金融分析到翻译等任务的模型访问权限。此外，该公司还与多家企业签订了价值数亿美元的合同，并在物理人工智能领域展开布局，与新加坡内政科技局、德国国防科技初创公司Helsing以及汽车制造商Stellantis开展机器人、无人机和车载助手项目合作。

Mistral Large 3和Ministral-14B-Instruct现已通过英伟达API目录和预览API向开发者开放。企业开发者很快还可使用英伟达NIM微服务在任何GPU加速基础设施上轻松部署这些模型。所有Mistral 3家族模型均可从Hugging Face下载。