還緊記年頭爆火的龍蝦嗎？這類可本質(zhì)的智能體，正偷偷爬進產(chǎn)業(yè)，在實業(yè)場景里爆發(fā)。在鯤鵬昇騰開導者大會 2026 現(xiàn)場，給我一種不談智能體徑直過期的嗅覺。

中科大團隊讓 Agent 擔任機器化學家，自主啃下上萬篇化學文件，以至自主遐想實驗、優(yōu)化有計算，讓科研不再是試錯苦旅。

企業(yè)事業(yè)領(lǐng)域，曩昔分析師團隊耗時半個月的行業(yè)研報、競品分析與數(shù)據(jù)建模責任，如今數(shù)十個 Agent 協(xié)同單干，幾天就能措置。

而智能體的每一次自主決策、每一輪迭代優(yōu)化，齊在驅(qū)動 Token 破鈔量攀升。萬億 Token 時期如故到來，總共行業(yè)、總共企業(yè)齊不得不直面一場 AI infra 的才調(diào)大考：AI 基礎(chǔ)門徑，咱們確實準備好了嗎？

一方面是業(yè)務(wù)場景的極致復雜度。在推選、交互等極致低時延場景下，毫秒級的延伸差距好像徑直影響到產(chǎn)物體驗與商場競爭力，超低延伸、超高隱約的推理需求成為剛需。

而與此同期，多量企業(yè)聚焦模子與誑騙層創(chuàng)新，卻冷落了算力調(diào)理、推理優(yōu)化等底層基建的決定性作用，AI infra 的中樞價值被低估。

在全行業(yè)機遇和挑戰(zhàn)并存的要津期，我在大會現(xiàn)場深度采訪了國產(chǎn)推理引擎 xLLM 神色負責東談主劉童璇。從這支扎根國產(chǎn)化賽談的期間團隊身上，看到了 AI infra 的破局謎底，也看到了托舉智能中國的根源力量。

它獨處地站在那邊

顯得獨處而又倔強

似乎行將傾跌進平川里

卻又像是要展翅翱游……

——《峭壁邊的樹》

xLLM 為什么罕見？海量 Token 的激增需求，重復居高不下的算力資本、國外算力生態(tài)的不篤定性，讓算力優(yōu)化成為 AI 落地的最要津問題。而推理引擎，下接硬件，通過深度優(yōu)化來普及芯片的模子運行性能，壓縮大模子的推理耗時；上接誑騙，高效聯(lián)絡(luò)萬億 Token 級的海量肯求。

適配國產(chǎn)芯片、高性能的國產(chǎn)推理引擎寥如晨星。xLLM 的出現(xiàn)，填補了行業(yè)空缺。而這，源于一個峭壁邊的禁受。

期間撥回 2024 年下半年，xLLM 立項之初，國外算力框架占據(jù)十足主流，行業(yè)內(nèi)簡直莫得東談主閑逸 all in 國產(chǎn)推理引擎的原生研發(fā)。其時，擺在 xLLM 團隊眼前的，是一談終極禁受題：究竟是依附老練的國外開源框架，神圣適配國產(chǎn)芯片，作念淺層增量矯正，照舊從零起步，原生自研一套純國產(chǎn)推理引擎，走一條充滿未知的絕壁之路。

xLLM 團隊作念出了堅韌的抉擇，從零搭建宇宙產(chǎn)推理體系，不作念混得當配、不依附國外框架，澈底扎根國產(chǎn)算力生態(tài)。

劉童璇反復而篤定地強調(diào)，要是徑直在國外框架上復古國產(chǎn)芯片，會受到很大治理，因為國產(chǎn)芯片生態(tài)與 CUDA 生態(tài)不同，優(yōu)化技能也不相同。強行適配會受到已有框架的治理，永遠無法挖掘國產(chǎn)算力的極致性能。同期，企業(yè)作念 AI 必須要有算力壓艙石，唯有原生自研，才能信得過為國產(chǎn)算力量身打造最優(yōu)推理底座，也為企業(yè)業(yè)務(wù)提供可靠可執(zhí)續(xù)的保險。

從零起步的抉擇，換來的是極致的期間目田，卻也伴跟著難以聯(lián)想的困境。

期間上的挑戰(zhàn)首當其沖。國產(chǎn)芯片生態(tài)碎屑化，各樣國產(chǎn)芯片架構(gòu)迥異，莫得長入、通用的編程模子，無法復刻 CUDA 體系的老練適配邏輯。團結(jié)大模子，需要針對不同芯片架構(gòu)單獨重寫、深度調(diào)優(yōu)，適配資本極高。更辣手的是，其時國產(chǎn)芯片在 FP16、INT8 等精度的復古不夠，極易出現(xiàn)各樣 BUG，優(yōu)化效果沒東談主敢打保票。

同期，國內(nèi)缺乏原生國產(chǎn)高性能推理引擎的通用有計算，這支以 95 后工程師為中樞的年青團隊，成員大多莫得從 0 到 1 建造推理引擎的陶冶，面臨復雜的底層架構(gòu)遐想與全鏈路優(yōu)化責任，不免缺乏信心。

起步階段，是整個研發(fā)周期中最勞作時期。面臨峭壁絕境般的困境，團隊廢棄廣撒網(wǎng)的適配想路，莫得盲目鋪開試水，聯(lián)絡(luò)錨定 DeepSeekV3/R1 模子，死磕單一模子的國產(chǎn)化推理優(yōu)化。

于峭壁邊扎根，在困境中滋長，xLLM 恰如崖柏，展現(xiàn)出鹵莽的期間人命力。神色認真開源之前，團隊終于對自建宇宙產(chǎn)推理引擎這件事有了信心。

一棵樹，彼此孤離地直立著……但在土壤的粉飾下，它們的根伸長著。在看不見的深處，它們把根須糾纏在整個——艾青《樹》

認定宇宙產(chǎn)這條路能跑通的轉(zhuǎn)念點，出當今神色開源之前的性能攻堅階段。

在長達數(shù)月的全鏈路深耕與芯片聯(lián)調(diào)后，xLLM 的優(yōu)化才調(diào)迎來了質(zhì)的飛躍，將藍本毫秒級的調(diào)理罅隙壓縮至百微秒以下，讓國產(chǎn)硬件的性能得以極致開釋。

在此之前，行業(yè)精深感知到，國產(chǎn)芯片的性能與 N 卡存在自然差距，約莫唯有國外先進芯片的 60% — 70%。但 xLLM 澈底沖突了這一判辨。在同等模子、同等部署條目下，xLLM 賦能昇騰芯片跑出的推感性能，好像達到 H200 的 80% — 90%。

在劉童璇看來，這一性能闡發(fā)，是國產(chǎn)軟硬件深度協(xié)同的系統(tǒng)性勝利。既源于 xLLM 框架層的架構(gòu)篡改與算法優(yōu)化，也成績于與國產(chǎn)芯片廠商的高超融合，優(yōu)化涵蓋了從上到下的整個鏈路，包括推理引擎框架層的優(yōu)化和底層計較標準的改進。

比如說，昇騰 CANN、Mind 系列開源軟件棧，具備完善的算子適配、模子兼容才調(diào)，好像高效匹配 xLLM 的自研架構(gòu)，大幅裁汰原生推理引擎的適配資本與矯正難度。

此外，xLLM 也得到了昇騰社區(qū)的高效反饋。兩邊建造了常態(tài)化深度協(xié)同機制，通過每周期間例會同步迭代程度、攻克期間難題，昇騰以至派團隊常駐亦莊，與 xLLM 團隊結(jié)伴辦公，從有計算打磨、期間攻堅到場景落地全經(jīng)過共建，殺青期間迭代無縫銜尾。

限度便是，xLLM 的原生架構(gòu)遐想與昇騰超節(jié)點的期間特色高度契合，釀成唯一無二的軟硬協(xié)同上風，基于昇騰在推感性能上得到更優(yōu)闡發(fā)，在散播式推理、高并發(fā)隱約場景下，能殺青性能最大化。

隨后，xLLM 慢慢完成了其他主流國產(chǎn)芯片的深度適配與優(yōu)化，以及與 DeepSeek、Qwen、GLM 等頭部模子廠商的深度協(xié)同。

通過推理引擎，衰敗的國產(chǎn)芯片廠商、期間團隊、模子生態(tài)被串聯(lián)在整個，根系相連，才調(diào)互補，開云足球世界杯中國官網(wǎng)入口釀成產(chǎn)業(yè)協(xié)力。不錯說，xLLM 的性能突破之路，亦然國產(chǎn) AI 生態(tài)聚力共生、聚木成林的一個縮影。

與國際頂尖硬件掰手腕的實測限度，給了 xLLM 團隊極大的信心，國產(chǎn)化自研門道完全可行。一個新的命題隨之而來：一項原生期間，若何信得過走出代碼，走進的確產(chǎn)業(yè)場景？開源，成了唯一亦然最好的謎底。

2025 年 8 月，xLLM 認真在 Github 開源，綻開給全行業(yè)共同使用和創(chuàng)新。但上傳源代碼僅僅運行，信得過的挑戰(zhàn)是若何被開導者用起來，蠱惑更多的東談主參與到神色中，以至成為社區(qū)孝敬者？

深耕產(chǎn)業(yè)多年的劉童璇，相配知曉期間研發(fā)與業(yè)務(wù)落地之間，存在巨大的 gap。比如說，產(chǎn)業(yè)分娩環(huán)境復雜多變、需求碎屑化，對框架的適應(yīng)性要求極致嚴苛；開導者從早已風俗老練的 CUDA 生態(tài)向國產(chǎn) CANN 生態(tài)切換時精深存在資本掛牽。

這些問題不明決，xLLM 在開源社區(qū)的競爭力和人命力就無從談起。

下定決心作念大生態(tài)，xLLM 走出了最為要津的三步：

第一步，性能，性能，照舊性能。

劉童璇合計，推理引擎的性能是芯片廠商、模子廠商與行業(yè)客戶齊最介意的計算，亦然推理引擎最剛性的競爭力地方。以國產(chǎn)芯片廠商為例，齊以客戶需求為導向，需要適配各家企業(yè)的專有框架，多量框架無法開釋國產(chǎn)芯片極致算力，導致國產(chǎn)硬件空有硬件底座，卻難以跑出匹配產(chǎn)業(yè)需求的推理效率。

xLLM 永久將性能優(yōu)化行為中樞底色，執(zhí)續(xù)壓縮推理時延、拉高隱約上限，堅韌沖刺 1 毫秒以下超低推理耗時標的，在生成式推選、大模子對話、多模態(tài)生成、工業(yè)智能巡檢等剛需場景中，殺青數(shù)十倍的性能普及。團隊主動聯(lián)動頭部模子廠商，首發(fā)適配 GLM4.6V、GLM4.7 等主流國產(chǎn)模子，讓各樣國產(chǎn)大模子齊能在國產(chǎn)芯片上開釋最優(yōu)性能。

第二步，得到來自的確業(yè)務(wù)考據(jù)的才調(diào)背書。

開源期間的最大短板，在于窮乏大范疇線上分娩環(huán)境的打磨。純實驗室、純社區(qū)驅(qū)動的框架，一朝落地到復雜集群、低容錯的產(chǎn)業(yè)場景中，可能出現(xiàn)各樣問題，這亦然產(chǎn)業(yè)用戶不敢徑直使用開源版塊的掛牽。

xLLM 與生俱來的上風，便是出生于產(chǎn)業(yè)，依托海量的確業(yè)務(wù)場景完玉成鏈路打磨。相較于傳統(tǒng)推選模子，新一代大模子結(jié)構(gòu)的生成式推選模子泛化才調(diào)更強，好像權(quán)臣普及商品推選精確度與用戶購買滾動率。但大模子的超大參數(shù)，也導致推理耗時激增，并發(fā)承載困難，嚴重制約產(chǎn)業(yè)落地。xLLM 將超大模子的推理時延極致壓縮，拉升電商滾動率的同期，機器硬件資本裁汰 90%。

與此同期，這套有計算如故成為浩繁運營商、大型央國企、互聯(lián)網(wǎng)企業(yè)的禁受。

第三步，依托昇騰生態(tài)，買通期間落地的引申 gap。

xLLM 立項之初便原生適配昇騰 CANN 體系，消解了生態(tài)挪動資本，澈底解決了行業(yè)最頭疼的兼容適配難題，大幅裁汰全產(chǎn)業(yè)落地門檻，趕快融入國產(chǎn)算力中樞生態(tài)體系，兩邊協(xié)力打造標準化行業(yè)解決有計算。昇騰老練的產(chǎn)業(yè)渠談、客戶體系、生態(tài)伙伴資源，為 xLLM 提供了盛大的落地場景。如今，xLLM 已寬泛落地電力、動力、政務(wù)、交通等要津領(lǐng)域。

當昇騰依托開源的 xLLM 框架，將大模子推理才調(diào)封裝進智能一體機，見效部署至遼闊地區(qū)電站并落地電力智能巡檢場景時，劉童璇長遠感受到了代碼督察民生國計的力量。

xLLM 從一株峭壁邊的崖柏，乘開源之風，聚開導者之力，成長成一派產(chǎn)學研用共同參與的叢林。xLLM 的成長過程，亦然填平期間與產(chǎn)業(yè)斷層、加快國產(chǎn) AI 生態(tài)升空的過程，中國的 AI 產(chǎn)業(yè)已為迎接智能體與萬億 Token 時期的全面爆發(fā)作念好了準備。

xLLM 推理引擎，股東國產(chǎn)模子與國產(chǎn)芯片的適配，讓行業(yè) AI 誑騙緊緊扎根在自主創(chuàng)新的算力底座之上，為智能體時期的到來筑實了根基。

如今，多模態(tài)普及、智能體自主協(xié)同、億級超長高下文場景落地，正在倒逼整個推理體系重構(gòu)。劉童璇合計，國產(chǎn)推理引擎必須解決幾個新的難題，一是延伸。智能體暢通決策、及時交互、生成式推選等場景，1 毫秒以下以至百微秒級超低延伸成為產(chǎn)業(yè)標配，對推理時延提議極致要求。二是全模態(tài)。AI 誑騙從單一文本生成，走向圖文、音視頻、三維本體會通的全模態(tài)時期，推理框架必須復古全模態(tài)的輸入輸出才調(diào)。三是億級高下文。行業(yè)向億級超長高下文演進，對推理系統(tǒng)釀玉成新鍛練。

萬億 Token 帶來了行業(yè)的結(jié)構(gòu)性機遇，而收攏機遇的前提，是搪塞好期間趨勢對推理架構(gòu)的挑戰(zhàn)。生態(tài)共建，成為中國 AI 破解總共難題的要津。

國產(chǎn)算力、模子與 AI 東談主才，是驅(qū)動國內(nèi)產(chǎn)業(yè)智能化必不成少的三駕馬車。生態(tài)好像麇集不同芯片廠商、模子團隊、行業(yè)開導者共同參與，執(zhí)續(xù)減弱與國外 AI 軟硬件的差距。此外，單一團隊、單一企業(yè)無法聯(lián)絡(luò)時期級的產(chǎn)業(yè)變革，國產(chǎn) AI 東談主才是千行百業(yè)誑騙創(chuàng)新的起源。

因此，xLLM 一方面深度聯(lián)動清華、北大、北航、中科大、北郵、天大等十余所頂尖高校，聯(lián)動數(shù)十位高校導師、近五十名實習生共建研發(fā)。同期，結(jié)伴昇騰生態(tài)，打造社區(qū) + 高校 + 產(chǎn)業(yè)三位一體的東談主才培植體系，在華為 ICT 大賽等官方賽事，拋出"百微秒級推理耗時優(yōu)化"等產(chǎn)業(yè)命題，熒惑后生開導者在實戰(zhàn)中歷練才調(diào)，挖掘具備產(chǎn)業(yè)后勁的創(chuàng)新東談主才。后續(xù)，xLLM 社區(qū)將執(zhí)續(xù)加翻綻開力度，裁汰參與門檻，通過任務(wù)拆解、計算公開、輕量化入局的模式，讓學生開導者、中小企業(yè)研發(fā)團隊，即使莫得盛大算力與東談主力資源，也能參與到國產(chǎn) AI 期間的發(fā)展中來。

也曾空缺的國產(chǎn)推理引擎，已根深葉茂；也曾辛勞的國產(chǎn)算力，已厚植沃土；也曾各利己戰(zhàn)的國產(chǎn) AI 生態(tài)，也有了根系交匯、勃勃期許的模式。當咱們站在智能體 AI 時期的大門之前，終于有了底氣。

每一個開導者，齊是中國 AI 產(chǎn)業(yè)的種子，扎根在各自的領(lǐng)域與崗亭，讓國產(chǎn)軟硬件生根發(fā)芽。當無數(shù)誑騙之花在行業(yè)怒放，期間將會銘刻，這是總共中國開導者用一滑行代碼寫就的，起義的春天。

那就用《種子的夢》來掃尾吧：

為了沖破那土層的壓力，

我少許一滴地積存遵守氣。

我想念那明媚的陽光，

我想念那開朗的地面……

開云世界杯官網(wǎng)