中国航空发动机集团简介、直属单位与主营业务
2022年04年24日
航空产业网 2024-10-15
356
0
0
中国电子科技集团公司电子科学研究院申请一项名为"一种大语言模型训练加速方法"的专利，申请日期为2024-06-11。
专利摘要显示，本发明提供一种大语言模型训练加速方法，包括以下步骤：对大模型的不同网络层进行数学建模，分析对应层的参数量，计算不同层的计算量：模型参数量是指一个神经网络或机器学习模型中可以进行学习和调整的参数的数量，这些参数包括权重和偏置，它们在训练过程中会不断地更新以优化模型的性能，模型计算量以FLOPs表示浮点数运算次数，衡量了计算量的大小。本发明提供的本发明提供一种大语言模型训练加速方法，能够对大模型训练中的资源占用进行准确评估，进一步分析以找到大模型训练中的瓶颈，并帮助研究者门提出大模型加速训练方法，对于大模型领域的分析和优化训练具有重要意义。
查看详情 : 一种大语言模型训练加速方法
原文链接 :
点击查看
评论 (0)