近日，太原理工大學計算機科學與技術學院關磊副教授以第一作者兼通訊作者在CCF A類國際頂級期刊IEEE Transactions on Knowledge and Data Engineering（簡稱IEEE TKDE）上發(fā)表最新研究論文，題目為“PipeOptim：Ensuring Effective 1F1B Schedule With Optimizer-Dependent Weight Prediction”。論文由太原理工大學陳永樂教授，國防科技大學李東升研究員、盧錫城研究員，以及山西大學梁吉業(yè)教授、王文劍教授共同合作完成。IEEE Transactions on Knowledge and Data Engineering是中國計算機學會(CCF)推薦的A類頂級國際期刊，在數(shù)據(jù)挖掘領域享有極高的學術聲譽。

圖1 基于權重預測異步流水線并行訓練示意圖

圖2 在Tiny-ImageNet上訓練ResNet-101(左)和Inception-V3(右)結果對比

論文提出了一種基于權重預測的異步流水線并行訓練算法PipeOptim，通過使用預測的“未來權重”執(zhí)行前向傳播來同時緩解1F1B（One Forward, One Backward）異步調度導致的權重不一致和權重陳舊問題。從而在使用異步流水線并行訓練算法訓練大規(guī)模深度神經(jīng)網(wǎng)絡模型時，既能保證較高的吞吐量，又具有良好的收斂性和泛化能力。該研究成果有望為高效訓練大模型提供重要的并行算法支持。

關磊副教授是2024年太原理工大學引進的高層次人才，主要從事深度學習與并行與分布式計算的前沿交叉研究，以第一作者在Nature（Letter）、IEEE TPAMI、IEEE TKDE、JCST、ICDM、ICASSP等國際著名期刊和學術會議上發(fā)表論文10余篇，是中國人工智能學會（CAAI）高級會員。

論文鏈接：https://ieeexplore.ieee.org/document/10891748