AI像火焰，正在吞噬世界，而算力構(gòu)成了“柴薪”。在國(guó)與國(guó)之間的人工智能競(jìng)爭(zhēng)日益激烈的當(dāng)下，算力成為國(guó)力的重要體現(xiàn)。
圍繞著這個(gè)話題，不久前，華為在北京組織了2026新春媒體沙龍。目前，計(jì)算產(chǎn)業(yè)已經(jīng)成為華為公司最重要的業(yè)務(wù)主航道之一，華為計(jì)算產(chǎn)品線營(yíng)銷運(yùn)作部部長(zhǎng)張愛軍表示，希望未來(lái)為中國(guó)構(gòu)建一個(gè)堅(jiān)實(shí)的算力底座，“為世界提供一個(gè)新的選擇”。
“超節(jié)點(diǎn)”成為他演講的關(guān)鍵詞。
什么是超節(jié)點(diǎn)？
超節(jié)點(diǎn)在行業(yè)內(nèi)還是一個(gè)新生事物，行業(yè)內(nèi)對(duì)超節(jié)點(diǎn)還未形成標(biāo)準(zhǔn)定義，張愛軍表示，華為希望在行業(yè)界形成共識(shí)，定義什么樣的設(shè)備是超節(jié)點(diǎn)。
目前業(yè)界有些看法，認(rèn)為超節(jié)點(diǎn)類似“大型機(jī)”，或者連接的計(jì)算卡足夠多，就是超節(jié)點(diǎn)了。張愛軍認(rèn)為這些看法是對(duì)超節(jié)點(diǎn)的誤解，從華為的角度來(lái)說(shuō)，“超節(jié)點(diǎn)”是計(jì)算節(jié)點(diǎn)通過(guò)高速互聯(lián)協(xié)議組成更大內(nèi)存空間的計(jì)算系統(tǒng)，能夠提供大帶寬、低時(shí)延的互聯(lián)能力。
傳統(tǒng)計(jì)算架構(gòu)中，卡間互聯(lián)依賴PCIe或以太網(wǎng)，跨服務(wù)器互聯(lián)帶寬多為200-400Gb/s且時(shí)延達(dá)數(shù)十微秒，在千億參數(shù)模型訓(xùn)練的并行計(jì)算場(chǎng)景中，頻繁的GB級(jí)數(shù)據(jù)通信阻塞，導(dǎo)致計(jì)算等待通信，成為性能瓶頸。
比如下圖中，CPU-AI處理器之間通過(guò)PCIe互聯(lián)，AI處理器之間通過(guò)RoCE互聯(lián)，單跳通信時(shí)延只能做到微秒級(jí)，RTT通信時(shí)延會(huì)更高，高達(dá)幾十微秒；假如要從32卡升級(jí)到64卡規(guī)模，需要增加二層交換，組網(wǎng)復(fù)雜；而且不支持內(nèi)存統(tǒng)一編址，無(wú)法做到全局的內(nèi)存池化以及AI處理器之間的內(nèi)存語(yǔ)義訪問(wèn)，所有訪存都需要通過(guò)消息語(yǔ)義通信，優(yōu)化存在瓶頸。
而超節(jié)點(diǎn)借助高效的互聯(lián)協(xié)議打破傳統(tǒng)架構(gòu)限制，能做到大帶寬、低時(shí)延、內(nèi)存統(tǒng)一編址，支持更大規(guī)模AI處理器的高效協(xié)同，實(shí)現(xiàn)更大范圍、更高流量的數(shù)據(jù)傳輸，從而突破系統(tǒng)性能瓶頸。
張愛軍做了個(gè)比喻：“有足夠大的帶寬，就像中國(guó)的經(jīng)濟(jì)為什么能夠騰飛，基礎(chǔ)設(shè)施包括高速公路、高速鐵路功不可沒(méi)，一個(gè)好的超節(jié)點(diǎn)一定要有足夠大的帶寬；高速公路路修得寬，還不能堵車，要有足夠低的時(shí)延，長(zhǎng)安街也很寬，但是經(jīng)不起天天堵，時(shí)延不足夠好很難構(gòu)建起來(lái)效率；能不能形成有效的邏輯上的單一系統(tǒng)，關(guān)鍵是內(nèi)存能不能真正統(tǒng)一編址，有統(tǒng)一內(nèi)存編址的技術(shù)才能真正稱得上超節(jié)點(diǎn)?！?/p>
以昇騰384超節(jié)點(diǎn)為例，相較于傳統(tǒng)服務(wù)器架構(gòu)，通信帶寬提升15倍、RTT通信時(shí)延從7微秒做到3微秒，降低了50%以上。
現(xiàn)實(shí)情況中，還需要具備散熱技術(shù)、模塊化架構(gòu)、冗余能力、連接技術(shù)、供電能力等工程能力，以及大規(guī)模、高可靠、靈活切分等系統(tǒng)能力，才是真正可商用的超節(jié)點(diǎn)。
為什么需要超節(jié)點(diǎn)？
超節(jié)點(diǎn)的出現(xiàn)，是AI發(fā)展的必然產(chǎn)物。
張愛軍在演講中提出了三個(gè)趨勢(shì)觀察：
首先，模型的規(guī)模正變得越來(lái)越大。人工智能的核心在于壓縮與泛化，壓縮是通過(guò)計(jì)算將物理世界的多元信息映射為函數(shù)表達(dá)，這一過(guò)程需消耗大量算力，隨著大模型從單模態(tài)轉(zhuǎn)向多模態(tài)，其對(duì)算力的需求會(huì)進(jìn)一步上升。
其次，輸入長(zhǎng)度顯著增加，模型上下文長(zhǎng)度，將從K級(jí)邁入兆級(jí)。進(jìn)入多模態(tài)時(shí)代，輸入從文字到加入視頻和圖片，導(dǎo)致序列長(zhǎng)度大幅提升，在計(jì)算過(guò)程中更長(zhǎng)的輸入意味著更長(zhǎng)的矩陣維度，進(jìn)而推高計(jì)算量。
第三，在數(shù)據(jù)層面，泛化能力決定了智能上限，而提升泛化離不開更多數(shù)據(jù)，利用人工智能生成合成數(shù)據(jù)以持續(xù)擴(kuò)展訓(xùn)練資源已成為趨勢(shì)，訓(xùn)練數(shù)據(jù)規(guī)模也從 10TB 級(jí)升級(jí)為 100TB 級(jí)。
“所有的一切都決定了未來(lái)對(duì)算力的需求會(huì)指數(shù)性增長(zhǎng)，，今天算力的需求遠(yuǎn)遠(yuǎn)未被滿足，無(wú)論是在行業(yè)里進(jìn)入到生產(chǎn)系統(tǒng)的過(guò)程當(dāng)中，還是在ToC的消費(fèi)端，我們看到token消耗的數(shù)量不是倍增，而是指數(shù)級(jí)增長(zhǎng)。去年國(guó)家數(shù)據(jù)局發(fā)布的數(shù)據(jù)，2024年初，我國(guó)每天消耗的AI相關(guān)“Token”（可理解為AI處理的基礎(chǔ)數(shù)據(jù)單元）只有1千億；可到了2025年6月底，這個(gè)數(shù)字已經(jīng)突破30萬(wàn)億，短短1年半時(shí)間就漲了300多倍?！睆垚圮娬f(shuō)道。
但當(dāng)我們將視線移向算力的供給端，隨著半導(dǎo)體制造技術(shù)接近觸及物理極限，摩爾定律正在失效，導(dǎo)致單一芯片的提升難以滿足人類對(duì)算力的需求。這種情況下，多芯片互聯(lián)的大規(guī)模計(jì)算節(jié)點(diǎn)就成為解決問(wèn)題的關(guān)鍵。
這就回到了上文中提到的問(wèn)題，傳統(tǒng)集群通過(guò)“服務(wù)器堆疊和以太網(wǎng)聯(lián)接”的模式提升算力規(guī)模，服務(wù)器之間帶寬不足、時(shí)延大，集群規(guī)模越大，算力利用率反而越低。Meta公布的Llama 3.1論文顯示，在1.6萬(wàn)卡H100集群上訓(xùn)練時(shí)，算力利用率低。同時(shí)，集群規(guī)模擴(kuò)張還帶來(lái)了可靠性問(wèn)題，在54天的訓(xùn)練過(guò)程中，整個(gè)集群累計(jì)中斷419次，平均每天中斷8次，也就是說(shuō)每3小時(shí)就會(huì)出現(xiàn)一次故障。
此外，在推理端，對(duì)低時(shí)延的要求日益嚴(yán)苛。比如金融風(fēng)控場(chǎng)景時(shí)延要求小于20毫秒，反欺詐的時(shí)延更是要在10毫秒以下。而Agentic AI需要更多任務(wù)協(xié)同和多輪次推理迭代，傳統(tǒng)的計(jì)算架構(gòu)也難以滿足低時(shí)延要求。
因此，超節(jié)點(diǎn)應(yīng)運(yùn)而生，通過(guò)新的互聯(lián)協(xié)議及架構(gòu)突破服務(wù)器擴(kuò)展的硬件限制，來(lái)增強(qiáng)算力的供給。經(jīng)華為驗(yàn)證，在DeepSeek、Qwen等多模態(tài)、MoE模型上，超節(jié)點(diǎn)相較于傳統(tǒng)集群可以達(dá)到3倍以上訓(xùn)練性能的提升，同時(shí)在強(qiáng)化學(xué)習(xí)場(chǎng)景下，可以將訓(xùn)推權(quán)重的傳輸從小時(shí)級(jí)降到60s。
華為的算力攻堅(jiān)
2019年，華為進(jìn)入計(jì)算產(chǎn)業(yè)，當(dāng)時(shí)提出了“硬件開放、軟件開源、使能伙伴、發(fā)展人才”的十六字方針。時(shí)隔六年，鯤鵬的注冊(cè)開發(fā)者數(shù)達(dá)到了約380萬(wàn)，昇騰約有400萬(wàn)，同時(shí)，華為還和約9800家ISV伙伴打造了超過(guò)2萬(wàn)個(gè)解決方案，這些解決方案廣泛應(yīng)用在金融、運(yùn)營(yíng)商、能源、制造等領(lǐng)域。
但比起數(shù)量的增長(zhǎng)，真正的攻堅(jiān)源于底層技術(shù)的突破，以及新技術(shù)的成功商業(yè)化，超節(jié)點(diǎn)就是這樣的一個(gè)案例。
采訪中，張愛軍提到了一個(gè)細(xì)節(jié)，光模塊是比較“嬌嫩”的系統(tǒng)，灰塵、溫度變化都會(huì)導(dǎo)致系統(tǒng)的閃斷和不穩(wěn)定，而華為昇騰384的超節(jié)點(diǎn)光模塊有將近幾千顆，通過(guò)模塊化的設(shè)計(jì)和冗余技術(shù)等，實(shí)現(xiàn)了規(guī)?；纳逃?。
據(jù)了解，自去年正式上市以來(lái)，昇騰已經(jīng)規(guī)模部署了將近數(shù)百套，廣泛應(yīng)用在互聯(lián)網(wǎng)、金融、能源、制造等各行各業(yè)中。
過(guò)去一年，華為還在業(yè)界首創(chuàng)了將超節(jié)點(diǎn)技術(shù)引入到通用計(jì)算中，是全球第一家發(fā)布了通算超節(jié)點(diǎn)的廠商。華為還將構(gòu)建超節(jié)點(diǎn)的靈衢協(xié)議完全開放，以推動(dòng)在中國(guó)形成完整的產(chǎn)業(yè)鏈模式。
當(dāng)天受邀參加活動(dòng)的工業(yè)和信息化部新聞宣傳中心（人民郵電報(bào)社）總編輯王保平在會(huì)議開始時(shí)講道：“算力作為數(shù)字經(jīng)濟(jì)的核心生產(chǎn)力，已經(jīng)成為像水電一樣的基礎(chǔ)資源。當(dāng)前算力需求從通用計(jì)算向智能計(jì)算延伸，從中心向邊緣擴(kuò)展，這既需要芯片、服務(wù)器、數(shù)據(jù)中心等硬件領(lǐng)域的持續(xù)突破，也需要架構(gòu)軟件、調(diào)度平臺(tái)等系統(tǒng)層面的協(xié)同創(chuàng)新。”
而華為，在這個(gè)歷史進(jìn)程中，做出了重要的推動(dòng)。
面向未來(lái)，張愛軍表示，就像在移動(dòng)互聯(lián)網(wǎng)時(shí)代，華為給世界提供了領(lǐng)先的5G產(chǎn)品，面向未來(lái)AI時(shí)代，華為將通過(guò)“集群+超節(jié)點(diǎn)”的創(chuàng)新，為中國(guó)包括全世界提供算力新選擇。
