中国航空发动机集团简介、直属单位与主营业务
2022年04年24日
航空产业网 2024-10-15
163
0
0
山东省计算中心（国家超级计算济南中心）申请一项名为"基于双重优化的大模型广域异构分布式训练方法与系统"的专利，申请日期为2024-09-10。
专利摘要显示，本发明属于大模型训练技术领域，具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统；基于双重优化的大模型广域异构分布式训练方法包括：获取基座模型的配置信息，进行异构数据中心的拆分，将异构数据中心转换成最多能完成一个stage任务的数据中心；采用蚁群算法对拆分后数据中心进行初始化组合的优化，得到基座模型初步并行组方案；基于遗传算法的优化得到基座模型并行组方案，生成模型训练架构，以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题，减少了模型训练时间的同时，有效降低了大模型训练的成本和门槛。
查看详情 : 基于双重优化的大模型广域异构分布式训练方法与系统
原文链接 :
点击查看
评论 (0)