“真正的護(hù)城河，是科學(xué)的研究文化與方法，是將未知問(wèn)題結(jié)合模型優(yōu)勢(shì)轉(zhuǎn)化為可用產(chǎn)品的能力?！?/p>
作者｜王博
大模型正在進(jìn)入一個(gè)新階段。
過(guò)去兩年，行業(yè)圍繞著參數(shù)規(guī)模、預(yù)訓(xùn)練數(shù)據(jù)量與通用能力上限展開了激烈競(jìng)爭(zhēng)。模型是否“更聰明”，是否能在標(biāo)準(zhǔn)基準(zhǔn)上取得領(lǐng)先成績(jī)，幾乎構(gòu)成了全部敘事核心。
在大模型進(jìn)入第二個(gè)階段之后，一個(gè)越來(lái)越清晰的事實(shí)正在浮出水面：在以Agent為目標(biāo)的應(yīng)用場(chǎng)景中，效率本身開始成為能力的一部分。
正是在這樣的背景下，小米MiMo團(tuán)隊(duì)在12月16日晚上發(fā)布并開源了MiMo-V2-Flash。團(tuán)隊(duì)在官方博客中介紹，這是一款強(qiáng)大、高效且超快速的基座語(yǔ)言模型，在推理、編程和智能體場(chǎng)景中表現(xiàn)尤為出色，同時(shí)也是處理日常任務(wù)的優(yōu)秀通用助手。
圖片來(lái)源：小米MiMo
從技術(shù)報(bào)告和官方博客給出的信息來(lái)看，小米MiMo團(tuán)隊(duì)并沒有一味卷模型參數(shù)，而是圍繞“推理效率、長(zhǎng)上下文與Agent能力”展開了系統(tǒng)性工程設(shè)計(jì)。
今天上午，小米MiMO大模型負(fù)責(zé)人羅福莉公開介紹了MiMo-V2-Flash并分享了其背后的研發(fā)故事。值得注意的是，這是DeepSeek前研究員羅福莉加入小米后，首次公開亮相。
羅福莉，圖片來(lái)源：「甲子光年」拍攝
臺(tái)上的羅福莉略顯緊張，雙手一直緊握翻頁(yè)器，但這位四川姑娘用帶有一點(diǎn)“川普”的口音堅(jiān)定地說(shuō)：“MiMo-V2-Flash是邁向Agent時(shí)代的全新語(yǔ)言基座?！?/p>
「甲子光年」認(rèn)為，這不僅是一次重要的模型發(fā)布，也是一次觀察小米MiMo團(tuán)隊(duì)技術(shù)取向的機(jī)會(huì)。將模型本身的技術(shù)選擇，與背后的人員與組織變化結(jié)合起來(lái)看，MiMo-V2-Flash的意義，已經(jīng)超出了單一模型版本迭代。
1.模型形態(tài)：推理效率成為核心
MiMo-V2-Flash采用混合專家（Mixture-of-Experts，MoE） 架構(gòu)，總參數(shù)規(guī)模為309B，但在實(shí)際推理過(guò)程中，僅有約15B參數(shù)被激活。
在輕量化的模型架構(gòu)之上，MiMo-V2-Flash仍然實(shí)現(xiàn)了更高水平的智能表現(xiàn)，在多項(xiàng)基準(zhǔn)測(cè)試中獲得了不錯(cuò)的成績(jī)。
例如，在AIME 2025數(shù)學(xué)競(jìng)賽和GPQA-Diamond科學(xué)知識(shí)基準(zhǔn)中，MiMo-V2-Flash躋身開源模型前二，展現(xiàn)出突出的推理能力。在衡量軟件工程能力的SWE-bench Verified以及多語(yǔ)言基準(zhǔn)上，MiMo-V2-Flash位列所有開源模型第一，并且整體表現(xiàn)已可與全球頂級(jí)閉源模型比肩。
圖片來(lái)源：小米MiMo
其實(shí)在當(dāng)前階段，MoE已逐漸成為很多模型研發(fā)團(tuán)隊(duì)面向推理效率的現(xiàn)實(shí)選擇。隨著模型被頻繁調(diào)用、持續(xù)運(yùn)行，單位時(shí)間內(nèi)的計(jì)算成本與顯存占用，開始成為系統(tǒng)設(shè)計(jì)的硬約束。MiMo-V2-Flash的參數(shù)分布方式，明顯是在為高并發(fā)、長(zhǎng)時(shí)間運(yùn)行場(chǎng)景預(yù)留空間。
從這一點(diǎn)看，小米MiMo-V2-Flash定位更像是一款可以被嵌入系統(tǒng)、長(zhǎng)期服務(wù)的推理引擎。
MiMo-V2-Flash支持最高256k的上下文長(zhǎng)度，使其能夠完成跨數(shù)百輪Agent交互和工具調(diào)用的任務(wù)。與這一指標(biāo)同樣重要的，是它實(shí)現(xiàn)這一能力的方式。
羅福莉介紹，團(tuán)隊(duì)圍繞極致推理效率設(shè)計(jì)模型結(jié)構(gòu)，主要有兩個(gè)方面創(chuàng)新：Hybrid SWA架構(gòu)（混合滑動(dòng)窗口注意力）和3層MTP推理。
羅福莉談圍繞極致推理效率設(shè)計(jì)模型結(jié)構(gòu)，圖片來(lái)源：「甲子光年」拍攝
在注意力機(jī)制上，MiMo-V2-Flash采用了滑動(dòng)窗口注意力與全局注意力相結(jié)合的混合注意力（hybrid attention）架構(gòu)?；瑒?dòng)窗口注意力讓模型在大多數(shù)情況下只關(guān)注局部上下文，大幅降低長(zhǎng)文本場(chǎng)景下的計(jì)算與顯存開銷；全局注意力則在關(guān)鍵層中保留對(duì)完整上下文的建模能力，用于校準(zhǔn)整體語(yǔ)義與長(zhǎng)程依賴。通過(guò)在效率與理解能力之間進(jìn)行這種分工，模型得以在支持超長(zhǎng)上下文的同時(shí)，仍保持可部署、可擴(kuò)展的推理性能。
小米MiMo團(tuán)隊(duì)將滑動(dòng)窗口注意力與全局注意力交錯(cuò)使用，采用128-token的激進(jìn)滑動(dòng)窗口設(shè)置，并以5:1的混合比例進(jìn)行組合。
這一設(shè)計(jì)并不追求理論上的最優(yōu)表達(dá)能力，而是針對(duì)KV Cache的顯存與計(jì)算成本進(jìn)行了現(xiàn)實(shí)取舍。全局注意力在長(zhǎng)上下文下的成本增長(zhǎng)過(guò)快，而純滑動(dòng)窗口又會(huì)削弱長(zhǎng)程依賴?；旌献⒁饬Φ囊?，使模型在長(zhǎng)文本理解與工程可行性之間維持了相對(duì)平衡。
客觀來(lái)說(shuō)，這類設(shè)計(jì)細(xì)節(jié)往往不容易在榜單中體現(xiàn)，卻直接決定了模型是否能在真實(shí)系統(tǒng)中被使用。
在推理效率層面，MiMo-V2-Flash引入了Multi-Token Prediction（MTP）模塊。這一模塊以輕量級(jí)結(jié)構(gòu)嵌入模型體系，使模型在一次前向計(jì)算中并行預(yù)測(cè)多個(gè)token。
圖片來(lái)源：小米MiMo
羅福莉介紹：“MTP一開始是被提出來(lái)用于做推理加速的，后面DeepSeek將它用于提升基座模型的能力，我們也在訓(xùn)練的時(shí)候去加入了MTP層進(jìn)一步提升基座模型的潛能。微調(diào)的時(shí)候加入了更多層的MTP，用很少量的算力就提升了MTP層的接受率?！?/p>
根據(jù)技術(shù)報(bào)告，MTP在不顯著影響生成質(zhì)量的前提下，可將推理速度提升最高約3倍。
這一設(shè)計(jì)的意義，并不局限于讓模型可以“更快輸出”，而在于改變了模型在復(fù)雜任務(wù)中的推理節(jié)奏。
在Agent場(chǎng)景中，模型往往需要經(jīng)歷多輪規(guī)劃、判斷與執(zhí)行。推理速度的提升，直接影響系統(tǒng)的響應(yīng)能力，也影響Agent是否能夠被用于實(shí)時(shí)或準(zhǔn)實(shí)時(shí)決策任務(wù)。MTP的引入，明顯可以服務(wù)于這一類使用情境。
2.訓(xùn)練方法：全新的后訓(xùn)練范式MOPD
在推理與Agent任務(wù)中，模型面臨的挑戰(zhàn)與傳統(tǒng)問(wèn)答任務(wù)存在明顯差異。
錯(cuò)誤不再只體現(xiàn)在“答錯(cuò)一道題”，而會(huì)通過(guò)多步推理、長(zhǎng)時(shí)序決策被不斷放大，最終影響系統(tǒng)整體行為。
傳統(tǒng)的監(jiān)督微調(diào)或Off-policy蒸餾，更多是在“標(biāo)準(zhǔn)答案環(huán)境”中訓(xùn)練模型。模型學(xué)到的，是在理想情況下該如何一步步走到正確結(jié)果，但在真實(shí)運(yùn)行中，它更常面對(duì)的是中途走偏、信息不完整或需要反復(fù)試錯(cuò)的情況。這種訓(xùn)練環(huán)境與真實(shí)使用場(chǎng)景之間的差距，在復(fù)雜推理和頻繁工具調(diào)用的任務(wù)中會(huì)被進(jìn)一步放大。
小米MiMo團(tuán)隊(duì)在MiMo-V2-Flash的后訓(xùn)練階段，創(chuàng)新提出了多教師在線策略蒸餾（Multi-Teacher Online Policy Distillation，MOPD）?范式，正是針對(duì)這一問(wèn)題提出的解決方案。
此前的蒸餾通常是給定輸入，由更大、更強(qiáng)的教師模型生成完整輸出，再由更小的學(xué)生模型去“模仿結(jié)果”。
但這在推理和Agent場(chǎng)景里會(huì)出現(xiàn)問(wèn)題，比如學(xué)生模型只學(xué)“答案”，不學(xué)“過(guò)程”；學(xué)生模型在真實(shí)推理中走偏、犯錯(cuò)，不按教師模型的路徑走。此外Agent場(chǎng)景中的工具調(diào)用、多輪決策、長(zhǎng)時(shí)規(guī)劃， 這些都不是“看一個(gè)標(biāo)準(zhǔn)答案”就能學(xué)會(huì)的。
而MOPD的核心思路，是讓學(xué)生模型先按照當(dāng)前策略生成推理或Agent行為軌跡，再由多個(gè)教師模型在這些on-policy 軌跡上進(jìn)行token級(jí)指導(dǎo)。
這種方式使學(xué)生模型學(xué)習(xí)的對(duì)象從理想化的“標(biāo)準(zhǔn)答案”，轉(zhuǎn)變成自身在真實(shí)狀態(tài)空間中的行為分布。
多教師機(jī)制進(jìn)一步增強(qiáng)了約束的多樣性。不同教師模型在推理策略、工具使用、節(jié)奏控制等方面的差異，使學(xué)生模型獲得更豐富的參考信號(hào)，從而降低在復(fù)雜任務(wù)中的單一偏置風(fēng)險(xiǎn)。
羅福莉還分享了一件讓她意外的事情：“當(dāng)學(xué)生模型很快超越教師模型的時(shí)候，能不能讓這個(gè)學(xué)生替換成教師，繼續(xù)自我迭代提升？”
根據(jù)官方博客，MOPD采用了解耦設(shè)計(jì)，支持靈活地集成新的教師模型和ORM，并自然而然地實(shí)現(xiàn)“教與學(xué)”的閉環(huán)迭代：通過(guò)蒸餾得到的學(xué)生模型可以演化為更強(qiáng)的教師模型，從而實(shí)現(xiàn)能力的持續(xù)自我提升。
值得一提的是，MOPD訓(xùn)練穩(wěn)定且極其高效——要達(dá)到教師模型的最高性能，僅需傳統(tǒng)SFT+RL流程不到1/50的計(jì)算資源。
圖片來(lái)源：小米MiMo
那么MOPD取代強(qiáng)化學(xué)習(xí)（RL）了嗎？
在MiMo-V2-Flash的訓(xùn)練體系中，MOPD并未取代強(qiáng)化學(xué)習(xí)，而是與Agentic RL形成了協(xié)同結(jié)構(gòu)。
MOPD提供的是一種相對(duì)平滑、穩(wěn)定的中間訓(xùn)練階段，用于在進(jìn)入高噪聲的強(qiáng)化學(xué)習(xí)之前，對(duì)模型行為進(jìn)行約束和塑形。這種設(shè)計(jì)降低了強(qiáng)化學(xué)習(xí)在長(zhǎng)時(shí)序任務(wù)中可能出現(xiàn)的策略崩壞風(fēng)險(xiǎn)，也使模型在復(fù)雜環(huán)境中的探索更加可控。
這一組合，體現(xiàn)出小米MiMo團(tuán)隊(duì)明顯的系統(tǒng)工程思維：將模型訓(xùn)練視為多階段、不同目標(biāo)函數(shù)逐步接管的過(guò)程，而不是一次性優(yōu)化。
3.羅福莉與小米：一次面向Agent時(shí)代的下注
羅福莉身上有著太多的標(biāo)簽。
她畢業(yè)于北大，是國(guó)際頂會(huì)?？?，此前曾在阿里巴巴達(dá)摩院和DeepSeek工作，這次是她作為小米MiMO大模型負(fù)責(zé)人首次公開亮相。
羅福莉的職業(yè)經(jīng)歷中，反復(fù)出現(xiàn)的主題是強(qiáng)化學(xué)習(xí)、復(fù)雜決策系統(tǒng)以及模型在真實(shí)環(huán)境中的穩(wěn)定性問(wèn)題。她關(guān)注的重點(diǎn)并不集中在模型的理論上限，而更多指向模型在錯(cuò)誤空間中的表現(xiàn)，以及系統(tǒng)在長(zhǎng)時(shí)間運(yùn)行中的行為演化。
MiMo-V2-Flash在MOPD、Agentic RL、推理節(jié)奏與工程穩(wěn)定性上的投入，或許會(huì)讓人覺得這是一款“工程味很重”的模型，但是這與羅福莉的技術(shù)取向可以說(shuō)是高度一致。而從模型設(shè)計(jì)邏輯來(lái)看，這種一致性更像是路線選擇的自然結(jié)果，而非偶然疊加。
這既是她加入小米后發(fā)布的首個(gè)重要成果，也可能是小米大模型路線一次長(zhǎng)期影響深遠(yuǎn)的轉(zhuǎn)向。
對(duì)于小米這樣一個(gè)擁有操作系統(tǒng)、設(shè)備生態(tài)與多樣化應(yīng)用場(chǎng)景的公司而言，這種以Agent能力為導(dǎo)向的模型設(shè)計(jì)，具有更高的戰(zhàn)略價(jià)值。推理效率、穩(wěn)定性與可控性，直接決定了模型是否能夠被嵌入復(fù)雜系統(tǒng)。
而從行業(yè)視角看，MiMo-V2-Flash代表著大模型路線的一種分化趨勢(shì)：在預(yù)訓(xùn)練Scaling逐漸逼近邊際收益的背景下，圍繞推理系統(tǒng)、Agent能力與工程可行性的探索，正在成為新的競(jìng)爭(zhēng)維度。
這一方向并不依賴于極端的算力投入，而更強(qiáng)調(diào)系統(tǒng)設(shè)計(jì)、訓(xùn)練方法與工程能力的協(xié)同。這種路線，也更貼近大模型在產(chǎn)業(yè)環(huán)境中的真實(shí)需求。
近期OpenAI前首席科學(xué)家伊利亞·蘇茨克維（Ilya Sutskever）接受采訪時(shí)提到，過(guò)去5年，在“算力+海量數(shù)據(jù)+大模型”上不斷擴(kuò)張規(guī)模，確實(shí)推動(dòng)了AI的快速發(fā)展。但這條“預(yù)訓(xùn)練+scale”路徑正逼近極限——數(shù)據(jù)源有限，算力雖多，但再多 100 倍，也不一定帶來(lái)實(shí)質(zhì)性質(zhì)變?！拔覀冋龔囊?guī)模時(shí)代（age of scaling）轉(zhuǎn)向研究時(shí)代（age of research）”伊利亞直言。
有趣的是，今天羅福莉表達(dá)了類似的觀點(diǎn)：“算力和數(shù)據(jù)也并非最終的護(hù)城河，真正的護(hù)城河，是科學(xué)的研究文化與方法，是將未知問(wèn)題結(jié)合模型優(yōu)勢(shì)轉(zhuǎn)化為可用產(chǎn)品的能力?！?/strong>
在羅福莉看來(lái)，小米MiMo團(tuán)隊(duì)是一個(gè)研究、產(chǎn)品、工程深度耦合的年輕團(tuán)隊(duì)，“我們團(tuán)隊(duì)里邊每個(gè)人都極度好奇、追求真理，乘著自由的風(fēng)，滿懷著對(duì)這個(gè)世界極致的關(guān)懷，在一起去探索智能的邊界?！?/p>
這一次，以羅福莉?yàn)榇淼男∶譓iMo團(tuán)隊(duì)選擇在推理與Agent上明確下注。
“下一代智能體系統(tǒng)，不是一個(gè)‘語(yǔ)言模擬器’，而是一個(gè)真正理解我們世界、并與之共存的‘智能體’。”羅福莉說(shuō)。
她認(rèn)為，大模型本質(zhì)上是用了算力的暴力美學(xué)，直接去攻克了最頂層的語(yǔ)言，但是它跳過(guò)了中間的非常多的步驟，比如對(duì)世界的感知、模擬，以及作為實(shí)體與環(huán)境產(chǎn)生交互。
“單純Scaling Up參數(shù)量不夠，”羅福莉說(shuō)，“要讓大模型回到‘演化課堂’，補(bǔ)上它跳過(guò)的關(guān)鍵學(xué)習(xí)步驟?！?/p>
羅福莉談通往AGI之路，圖片來(lái)源：「甲子光年」拍攝
在MiMo-V2-Flash發(fā)布之前，羅福莉和MiMo有一次對(duì)話，她想讓MiMo”深入闡述物理世界導(dǎo)向：強(qiáng)調(diào)多模態(tài)和真實(shí)世界交互才是通往真正智能（AGI）的關(guān)鍵，而非僅靠文本。
MiMo的回答是：“智能根植于存在，而非符號(hào)?！?/p>
這個(gè)回答讓羅福莉有些意外，但也讓她充滿信心。
羅福莉與MiMo-V2-Flash對(duì)話，圖片來(lái)源：「甲子光年」拍攝
*甲子光年作者蘇霍伊對(duì)本文亦有貢獻(xiàn)
（封面圖來(lái)源：「甲子光年」拍攝）
END.
