kaiyun中国官方网站本色参考的前边内容的范围-kaiyun下载·开云体育(中国)官方网站 登录入口
作家 | Li Yuan
剪辑 | 郑玄
大模子期间依然精良迈入第三年。
回归夙昔的两年，不禁令东谈主感触。每年齐有基座大模子架构依然尘埃落定的声息，但是每年，工夫齐在马上地迭代鼎新，突破东谈主们假想。
2024 年，OpenAI 的推理模子，通过对模子架构的鼎新，用 RL 的法子延续 Scaling Law，让大模子的技艺水平不竭进展；而中国公司也并莫得过时，价钱屠户 DeepSeek 通过 MLA 的架构鼎新，让推理老本径直裁汰了一个数目级。
2025 年开年，令东谈主怡悦的是，咱们看到了一向在东谈主们印象中是「低调作念居品」的 MiniMax 公司，也加入了开源行列，将最先进的底层工夫径直与社区和行业共享。
1 月 15 日，大模子公司 MiniMax 精良发布了 MiniMax-01 系列模子。它包括基础言语大模子 MiniMax-Text-01，和在其上集成了一个轻量级 ViT 模子而配置的视觉多模态大模子 MiniMax-VL-01。
开源界面｜图片开首：GitHub
「卷」起来的大模子公司，令东谈主乐见。开源会提高鼎新效能，越来越好的基座模子之上，才搭建越来越有用的利用，进入千门万户，帮东谈主们目田分娩力。
这是 MiniMax 第一次发布开源模子，一出手即是一个炸裂模子架构鼎新：新模子采用了 MiniMax 独到的 Lightning Attention 机制，模仿了 Linear Attention（线性提防力）机制，是全球第一次将 Linear Attention 机制引入到生意化限制的模子当中。
成果亦然立竿见影，模子险阻文长度径直达到了顶尖模子的 20-32 倍水平，推理时的险阻文窗口能达到 400 万 token。模子成果坐窝在国际上引起了宽恕。
X 用户惊奇 MiniMax-Text-01 不错在 400 万 token 上竣事完好的费精神思 ｜ 图片开首：X
另一个来自中国公司的巨大模子，在学术测试集上宗旨优厚｜图片开首：X
模子的险阻文窗口，指的是模子在生成每个新 token 时，本色参考的前边内容的范围。就像是模子能够一次性从书架上取下的竹素数目。模子的险阻文窗口越大，模子生成时不错参考的信息量就越多，宗旨也就愈加智能。
站在 2025 年事首的时分点，长险阻文窗口还有一个新的兴味：为模子的 Agent 技艺，打下坚实基础。
业界公认，2025 年，Agent 技艺将是 AI 届「卷生卷死」的重心，连 OpenAI 齐在本周内推出了 Tasks，一个 AI Agent 的雏型。在 2025 年，咱们很有可能看到越来越多真是「全自动的」AI，在咱们的生存中起作用。致使不同「全自动的」的 AI 共同妥洽，帮咱们处理事务。而这对基座模子的技艺，有极大的纯属。而长险阻文是 Agent 技艺竣事的必要条目。
看起来，2025 年，基座大模子之战仍未驱逐；中国公司发力，也才刚刚启动。
01
Linear Attention 架构
的第一次大限制使用
这次 MiniMax 开源的模子，最大的鼎新点，在于使用了 MiniMax 独到的 Lightning Attention 机制，这是一种线性提防力。
在传统的 Transformer 架构中，最「烧」算力和显存的部分频频是自提防力（Self-Attention）机制。 原因在于，圭臬的自提防力需要对扫数的词（Token）两两计较提防力分数，计较量跟着序列长度 n 的增长是正常级（O ( n ² ) ）。
如若用等闲的言语来模式，类似于你在举办一场联谊会，东谈主好多。如若每个东谈主齐要两两打呼叫，疏导老本会跟着东谈主数增多而急剧上涨，每个东谈主齐得肖似无数次「持手」。
这带来了一系列的问题——其中一个即是，联谊会的东谈主数，也即是模子的险阻文的窗口，很难无尽推广。硬要推广，对于算力的需求就相配高。
为了支吾这一挑战，传统上，接头东谈主员提议了各式法子来裁汰提防力机制的计较复杂度，包括零碎提防力、Linear Attention（线性提防力）、长卷积、气象空间模子和线性 RNN 等面貌。
这次 MiniMax 开源的模子，即是借用了其中的 Linear Attention（线性提防力）的面貌。
Linear Attention 的想路就像给会场安排了几位「速配助理」。每个东谈主先把我方的枢纽信阻隔给助理，比如「但愿顽强什么样的东谈主、擅长什么」。助理整理这些信息后，径直告诉每个东谈主最安妥交谈的对象。这样，人人无谓一个个自我先容，扫数这个词匹配流程更高效，疏导老本大幅裁汰。
不外，Linear Attention 之前诚然在表面上有所鼎新，但在生意限制模子中的采用有限。而 MiniMax 团队则第一次考证了 Linear Attention 机制在生意限制的大模子之上的可行性。
这意味着一项工夫从实验室走向真实宇宙。
MiniMax 团队使用了一个传统的 Linear Attention 的变种，被 MiniMax 团队称为 Lightning Attention。Lightning Attention 责罚了现存 Linear Attention 机制计较效能中的主要瓶颈：因果积聚乞降操作的闲隙，使用新颖的分块工夫，有用回避了累加和操作。
在一些特定任务，如检索和长距离依赖建模上，Lightning Attention 的性能宗旨可能不如 Softmax 提防力强。
MiniMax 团队又引入了搀杂提防力机制责罚这一问题：在最终的模子架构中，在 Transformer 的每 8 层中，有 7 层使用 Lightning Attention，高效处理局部干系；而剩下 1 层保遗留统的 Softmax 提防力，确保能够捕捉枢纽的全局险阻文。
这样的架构鼎新，成果十分惊艳。
MiniMax-01 系列模子参数目高达 4560 亿，其中单次激活 459 亿。在主流模子现在的险阻文窗口长度仍然在 128k 把握的时候，MiniMax-01 系列模子能够在 100 万 token 的险阻文窗口上进行教练，推理的时候险阻文窗口可除外推到 400 万 tokens，是 GPT-4o 的 32 倍，Claude-3.5-Sonnet 的 20 倍。
在面向实践情景，进行长险阻文多任务进行真切的清晰和推理的第三方测评 LongBench v2 的最新顺次中，MiniMax-Text-01 仅次于 OpenAI 的 o1-preview 和东谈主类，位列第三。
模子在 LongBench v2 上的评测宗旨 ｜ 图片开首：GitHub LongBench
在模子的基础宗旨上，MiniMax-01 系列模子也在圭臬学术基准测试中可与顶级闭源模子相忘形。不仅如斯，在模子险阻文长度逐渐变长的流程中，模子的宗旨着落也最拖沓——部分模子诚然文牍险阻文窗口长度较长，但真是使用起来，在长险阻文情况下，成果并不好。
MiniMax-01 系列模子可与顶级闭源模子相忘形 ｜ 图片开首：MiniMax 论文
MiniMax 团队对比了在 CSR（知识推理）、NIAH（大海捞针）和 SCROLLS 等基准测试上，在相似的计较资源下，用采用了 7/8Lightning Attention 和 1/8 的 Softmax 的搀杂提防力模子不错放更多参数、处理更大齐据，而况教炼就果还比只用 Softmax 提防力的模子更好，耗损更低。
基准测试上搀杂 Lightning Attention 的架构宗旨更好 ｜ 图片开首：MiniMax 论文
02
为 Agent 期间爆发的前夕作念准备
自 2024 年启动，长险阻文一直是模子迭代的一个遑急标的。
在这个范畴，国外的 Google、Anthropic，国内的 Kimi，齐是顽强的干预者。2024 年年末，DeepMind 的 CEO Demis Hassabis 曾示意，在里面测试中，Google Gemini 正在向无尽险阻文窗口发起冲击。
大约有东谈主会困惑，这次 MiniMax 发布的 MiniMax-01 系列模子，险阻文窗口长度依然达到 400 万 token，如若按照 1 个 token 约等于 1.7 个华文汉字的计较面貌，依然约等于 700 万字的险阻文窗口。东谈主类需要和 AI 聊出这样多的险阻文吗？
谜底是， 盯住长险阻文的各家公司，可能盯住的并不是现在的一问一答的问答 AI 场景，而是背后的 Agent 期间。
不管是单 Agent 所需的不竭挂牵，如故多 Agent 妥洽所带来的通讯，长链路的任务齐需要越来越长的险阻文。
长险阻文，在多种 Agent 利用场景中，将具有极大的兴味。
在搜索场景中，这可能意味着用户不错一次性看到更多谜底的笼统，径直得到更精确的回答。
畴昔的效能器用中，这可能意味着用户领有了无尽的职责挂牵。在无数版块的修改之后，当甲方让你如故用第 1 版的著述结构和第三版的小标题的时候，你不错无痛回应「好的」，然后让 AI 一键生成两个版块的会通。
畴昔的学习器用中，这可能意味着用户不错径直具有更大的知识库。径直上传一册课本，就能让 AI 左证其中的内容，进行素质。
而在和 AI 助理的对话中，它将像聪慧的东谈主类助理一样，真是记着你之前说过的话，并在你需要的时候「谨记来」。MiniMax 团队的论文当中的一个场景就很能阐发问题。
模子被要求从最多 1889 条历史交互（英文基准）或 2053 条历史交互（华文基准）中精确检索出用户的一条历史互动——用户肖似要求 AI 写对于企鹅的诗歌，同期进行了多轮不关联的对话，而在终末，要求 AI 提供第一次写的对于企鹅的诗。而 MiniMax-01 仍然很好地完成了这一任务。
长险阻文的任务宗旨 ｜ 图片开首：MiniMax 论文
对于 Agent 来说，另一个遑急技艺，则是视觉清晰 —— MiniMax 这次同系列也发布了 MiniMax-VL-01。这是一个相似采用了线性提防力架构、以及领有 400w token 险阻文窗口的视觉多模态大模子。
在 2024 年 Rayban-Meta 眼镜爆火之后，本年的智能硬件的一大看点在于 AI 眼镜能否真是让 AI 成为东谈主们的随身助手。而能成为随身 AI，AI 必须的技艺即是长险阻文——记着你的扫数生存场景，才能在随后为你提供个性化的请示和建议。
这样的挂牵将是「真挂牵」，与 ChatGPT 现在的挂牵功能所能提供的肤浅成果填塞不同。
要真是竣事随身的 AI Agent，跨模态清晰、无尽险阻文窗口齐是基础技艺。
论文终末， MiniMax 示意畴昔将在线性提防力这一起径上作念到极致，尝试填塞取消 Softmax 提防力层，最终竣事无尽的长险阻文窗口。
03
基座模子鼎新未死，
中国公司康庄大道
值得提防的是，这次是 MiniMax 公司，第一次推出开源模子。
这次的大模子定名的 MiniMax-01 系列，在 MiniMax 的里面序列中，本来是 abab-8 系列模子。
MiniMax 在上一代 abab-7 模子中，依然竣事了线性提防力和 MOE 的架构，而在 abab-8 中，取得了更好的成果。
这次，MiniMax 选拔在这个时分点，将模子开源出来，并以这个节点为启动，再行定名模子 MiniMax-01。
这似乎代表着 MiniMax 的公司玄学的一种改动。
在过往，MiniMax 公司给外界一向的印象是：业务很踏实，作念事很低调。
从星野、Talkie 到海螺 AI，MiniMax 有我方诚笃的一波用户群体。在旧年的公配置布中，MiniMax 也曾示意每天依然有 3 万亿文本 token 的调用，在国内 AI 公司中名列三甲。
这些利用背后的 AI 工夫则一直较为精巧，在此之前主要用于撑持公司自己的业务。 这次开源，似乎是一个滚动，是 MiniMax 第一次对外高调展示工夫实力。
MiniMax 方面示意，模子不错在 8 个 GPU 单卡、640GB 内存上，就能够竣事对 100 万 token 进行单节点推理。但愿这次开源匡助其他东谈主配置能够突破现时模子的局限。
记忆过往，自 OpenAI 推出 ChatGPT、Meta 发布 Llama 系列开源模子以来，一直有声息示意基座模子的鼎新已趋于终结，或仅有少数国际科技巨头具备畴昔模子架构鼎新的技艺。
最近两次中国公司的开源当作，告诉咱们并非如斯。
2024 年，DeepSeek 凭借其突破性的 MLA 架构，动荡了全球 AI 行业，讲解了中国企业的工夫创造力。
2025 年事首，MiniMax 再次以其全新的 Lightning Attention 架构刷新了行业融会，考证了一条此前非共鸣的工夫旅途。
中国 AI 公司不仅具备工程化和生意化的技艺，更有技艺鼓舞底层工夫鼎新。
新的一年，无论是 AI 利用的普及，如故工夫金字塔尖的攻坚，咱们不错对中国 AI 公司有更多的期待。
* 头图来 源：视觉中国
本文为极客公园原创著述kaiyun中国官方网站，转载请忖度极客君微信 geekparkGO