港理大创新AI训练范式,大幅降低成本并普及研究

今日香港地
+订阅

10月23日,香港理工大学(下称“港理大”)宣布其人工智能高等研究院(PAAI)研究团队在生成式人工智能(GenAI)领域取得多项关键技术突破。团队创新提出“协作式生成人工智能(Co-GenerativeAI)”模式,将AI训练从传统集中式转向分散式,不仅大幅降低训练成本、保障数据隐私,更打破资源壁垒,让全球更多研究机构得以参与AI研发。

当前,GenAI领域面临三重核心制约:基础模型训练需耗费巨量计算资源,仅少数机构可以负担,导致学术界难以直接参与基础模型的训练、领域专属知识与数据无法融入模型;隐私保护与版权归属问题使医疗、金融等敏感数据难以用于训练;基础模型难以及时吸收新知识,每次重新训练需“天文数字级”资源,严重阻碍技术迭代。

针对这些痛点,港理大PAAI团队从“低成本训练”与“分散式融合”两大方向展开攻关,在理论证明和应用落地方面取得突破性成果。港理大成为业界首个开源发布“端到端FP8低比特训练全套方案”(涵盖预训练及后训练)的大学团队,该技术打破全球基础模型以BF16精度训练的主流格局,是全球少数掌握该核心技术的研究团队之一。

与BF16相比,FP8核心优势体现在多方面:训练速度提高逾两成、显存峰值占用减少逾一成、成本大幅下降;整合“持续预训练”监督式微调”和“强化学习”,训练效果媲美BF16模型且训练时间和显存占用进一步压缩。

团队已启动更低成本的FP4精度训练探索,经测试,其在医疗的诊断和推理上超过目前业界发布的同等尺寸最优模型领域;在科研智能体领域(ResearchAgent)中的任务复杂度,泛化能力和生成报告质量上均取得重大突破。

港理大PAAI执行院长、计算机及数学科学学院副院长(环球事务)及电子计算学系教授杨红霞指出:“以超低资源实现基础模型训练,加上高效模型融合,可助全球学术人员投入GenAI研究,汇聚更多力量创新。”

在技术落地层面,港理大团队已取得多领域实质进展。团队训练出性能领先的医疗基础大模型,并研发专属“癌症GenAI”,可快速积累高质量医疗数据、直接对接医疗设备,用于癌症个性化治疗规划,目前正联合复旦大学附属华山医院、中山大学肿瘤防治中心、山东省肿瘤医院及香港伊利沙伯医院推动合作与临床落地。

南方+记者  陈彧

编辑 宋佳宁
校对 何翠莹
+1
您已点过

订阅后可查看全文(剩余80%)

更多精彩内容请进入频道查看

还没看够?打开南方+看看吧
立即打开