中国航空发动机集团简介、直属单位与主营业务
2022年04年24日
航空产业网 2024-11-12
349
0
0
浙江大学申请一项名为"基于多SSD的单GPU大模型训练方法及系统"的专利，申请日期为2024-10-11。
专利摘要显示，本发明公开了一种基于多SSD的单GPU大模型训练方法及系统，属于模型异构训练技术领域。本发明通过搭载多块SSD和单个GPU的软硬件协同设计，在CPU和GPU上额外申请一块空间用于异步的通信，在不影响计算的同时隐藏了通信带来的开销，解决了SSD‑CPU和CPU‑GPU之间带宽差异导致训练性能下降的问题，可大幅提高可训练模型规模和训练效率，同时降低训练成本。另外，本发明在大模型异构训练过程中引入主动卸载技术，使用多进程技术将GPU上的反向计算和CPU上的优化器计算并行，同时将CPU上的优化器计算和SSD‑CPU之间的通信并行起来，从而减少通信和计算串行带来的开销，避免梯度冗余传输问题。
查看详情 : 基于多SSD的单GPU大模型训练方法及系统
原文链接 :
点击查看
评论 (0)