中国航空发动机集团简介、直属单位与主营业务
2022年04年24日
航空产业网 2024-04-09
243
0
0
西安翔腾微电子科技有限公司申请一项名为"一种面向NPU计算架构的量化训练无损推理协同设计方法"的专利，申请日期为2023-12-18。
专利摘要显示，本发明涉及一种面向NPU计算架构的量化训练无损推理协同设计方法。本发明包括以下步骤：1）为神经网络模型训练选用合适的量化计算实现方式，对量化训练参数进行初始化；2）使用量化设计后的方式对模型超参数进行设计；3）在神经网络模型训练阶段引入量化约束，完成模型的低比特量化训练，生成量化训练模型权重；4）使用相同数据，对量化训练后的模型推理结果进行正确性验证；5）设计NPU计算架构支持低比特量化模型的推理，实现模型推理过程与模型量化训练过程完全相同；6）使用NPU推理训练量化后的模型，对比NPU与PC端推理结果。本发明以神经网络算法通用框架模型量化技术流程，通过研究算子量化中的操作，在NPU端涉及模型量化训练无损推理方法，使得量化后的神经网络模型达到无损推理和加速的目的。
查看详情 : 一种面向NPU计算架构的量化训练无损推理协同设计方法
原文链接 :
点击查看
评论 (0)