螞蟻集團CTO：堅決投入大模型底層基礎設施，萬卡AI集群訓練效率領先
2023-09-09 06:12:57 來源：金融界
【資料圖】
9月8日，在上海舉辦的外灘大會上，螞蟻集團正式發布了金融大模型，并開源生成式AI編程平臺CodeFuse。螞蟻集團首席技術官、平臺技術事業群總裁何征宇在接受采訪時介紹，螞蟻大模型走純自研的技術路線，以全棧布局、長線發展為原則，以創造產業價值為目標。為此，螞蟻堅決投入大模型底層基礎設施，目前已建成萬卡AI集群，訓練效率領先行業，為大模型產業化應用提供有力支撐。
何征宇介紹，螞蟻一直以來堅持核心技術自主創新，2022年底正式立項大模型研發，目前已形成從基礎大模型到行業大模型以及產業應用的全棧布局。
今天發布的螞蟻金融大模型基于螞蟻基礎大模型，針對金融產業深度定制。何征宇介紹，螞蟻基礎大模型平臺具備萬卡異構集群，其中千卡規模訓練MFU可達到40%，集群有效訓練時長占比90%以上，RLHF訓練在同等模型效果下訓練吞吐性能相較于業界方案提升3.59倍，推理性能相較于業界方案提升約2倍，處于業界先進水平。
何征宇表示，未來螞蟻將持續探索和精進大模型的五大能力方向。一是，建設高質量的數據標注團隊，沉淀高質量數據體系；二是，攻堅基礎大模型算法，以及高效綠色工程能力，提升模型邏輯推理等能力；三是，從通用語言大模型到通用多模態大模型，從一般通識走向全面專業；四是，建設高效的大模型評測標準和評測體系，加快大模型迭代速度；五是，建設大模型安全能力，保障大模型健康可持續發展。
在產業端，螞蟻將結合自身能力優勢和大模型技術特征，重點探索金融、民生、科技服務等領域的落地應用。
關鍵詞：
