科技之家

科技之家,汇聚专业声音 解析IT潮流

首页 > 软件 >

Mistral发布Large 2旗舰AI模型 拥有128k上下文窗口

来源:互联网 时间:2024-07-25 11:45:11

  原标题:1230 亿参数,Mistral 发布 Large 2 旗舰 AI 模型

  7 月 25 日消息,AI 竞赛日益激烈,Meta 公司昨日推出开源 Llama 3.1 模型之后,法国人工智能初创公司 Mistral 也加入了竞争行列,推出了新一代旗舰模型 Mistral Large 2

  模型简介

  该模型共有 1230 亿个参数,在代码生成、数学和推理方面比其前身功能更强大,并提供更强大的多语言支持和高级函数调用功能。

  Mistral Large 2 拥有 128k 的上下文窗口,支持包括中文在内的数十种语言以及 80 多种编码语言。该模型在 MMLU 上的准确度达到了 84.0%,并在代码生成、推理和多语言支持方面有非常明显的改进。

  Mistral 公司表示,训练的重点之一是尽量减少模型的幻觉问题。该公司称,Large 2 接受的训练让它的反应更具辨别力,当它不知道某些事情时,它会承认自己不知道,而不是编造一些看似合理的事情。

  开放方式

  援引官方新闻稿,该 AI 模型的关注点之一,在于“授权开放”非商业研究用途,包括开放权重、支持第三方根据其喜好进行微调(fine-tune)等等。

  如果商业 / 企业想要使用 Mistral Large 2.需要从 Mistral 公司购买单独的许可和使用协议。

  性能

  与 Llama 3.1 的 4050 亿个参数(即指导其性能的内部模型设置)相比,它的参数数量较少,但性能仍接近前者。

  Mistral Large 2 可在公司的主平台上使用,也可通过云合作伙伴使用,它建立在原有 Large 模型的基础上,带来了先进的多语言功能,并提高了推理、代码生成和数学方面的性能。

  官方称其为 GPT-4 级模型,在多项基准测试中的性能非常接近 GPT-4o、Llama 3.1-405 和 Anthropic 的 Claude 3.5 Sonnet。

  Mistral 指出,该产品将继续“推动成本效益、速度和性能的发展”,同时为用户提供新的功能,包括高级函数调用和检索,以构建高性能的人工智能应用。

相关文章