2023年,ChatGPT的火爆出圈掀起了大模型的熱潮,而大模型參數的快速增長又對智能算力提出了新需求。“后摩爾時代,以AI大模型為代表的多元創新應用驅動計算產業邁進‘智能算力’發展新周期,帶動產業格局重構重塑。”在近期舉辦的2024 ICT行業趨勢年會上,中國信息通信研究院云大所總工程師郭亮表示。
大模型重塑產業格局
2023年,大模型持續升溫,成為現象級的概念。“大模型的引爆推動了產業格局重塑,激發了產業生態新動能。”郭亮認為。從算力構成來看,智能算力異軍突起,步入發展新周期。從產業發展來看,大模型帶來了AI產業“新增長”。例如,一卡難求的英偉達在2024財年第二季度實現營收135.1億美元,凈利潤同比暴漲843%,增速創下歷史新高。從資本市場來看,大模型激起AI投融資市場“千層浪”,2023年新晉的22家AI獨角獸中50%為大模型企業。
眾所周知,大模型訓練參數規模龐大且持續快速增長,其對智算的需求也水漲船高不斷提升。以ChatGPT 3.5為例,其總算力消耗高達3640PF-days,即在每秒計算一千萬億次(1P)的條件下,需要持續運行至少3640天——大模型算力消耗之巨大由此可見一斑。
受市場需求的拉動,我國智能計算中心如雨后春筍般不斷建立。北京、天津、重慶、深圳、上海……越來越多地方政府積極開展前瞻布局,加快推動人工智能計算中心規劃建設,支撐和引領數字經濟、智能產業、智慧城市、智慧社會發展持續推進。
人工智能計算中心簡稱智算中心,提供人工智能算力服務的計算系統,是基于人工智能專用算力芯片及加速芯片等組成的異構系統。“隨著智算需求的提升,智算中心加快建設,技術架構不斷完善,節能、網絡、計算、互聯能力和生態建設等方面均在加快推進。”郭亮表示。
盡管成績斐然,我國大模型智算產業發展仍存在諸多問題。郭亮介紹,2023年10—12月,中國信通院受工信部委托對20家大模型企業進行調研,發現問題主要有3個方面:第一,算力規模比較分散;第二,國產芯片產能及性能欠佳;第三,大模型軟件生態不統一。
需強化算力、存力、運力和安全保障能力
郭亮表示,作為國家高端專業智庫,中國信息通信研究院依托ODCC在面向大模型的算網發展方面做了大量工作。作為算力的重要組成部分,數據中心網絡貫穿數據存儲、計算與應用的全流程。針對智算時代新型網絡技術,ODCC牽頭開展網絡技術研究,相繼發布多項研究白皮書,分別從網絡應用發展需求、網絡面臨的挑戰、相應的解決方案等方面開展了研究。
產業發展,標準先行。中國信通院全面推動數據中心網絡行業標準制定,牽頭開展無損網絡、RDMA相關技術要求和測試方法等多項行業標準機測試規范,為大模型時代的智算中心網絡技術發展提供統一的行業準則和規范向導。
ODCC還不斷推動數據中心網絡國際化進展,從2017年起牽頭制定無損網絡技術標準以及測試規范等,并在IEEE802.1成功立項“智能無損數據中心網絡”Work Item,推動無損網絡研究國際化,相繼發布行業標準、技術報告等10多項成果,得到了國內產業界的廣泛參與。
此外,中國信通院還積極開展無損網絡相關測試,合作伙伴隊伍持續擴大。
展望未來,郭亮認為,大模型經濟賦能價值不斷顯現,對算網設施的要求也不斷提升。為了更好地支撐大模型的應用和發展,業界需進一步推動算力基礎設施軟硬件技術升級,強化算力、存力、運力和安全保障能力。