中国航空发动机集团简介、直属单位与主营业务
2022年04年24日
航空产业网 2024-04-09
192
0
0
西安翔腾微电子科技有限公司申请一项名为"一种支持神经网络推理移位量化计算的NPU设计方法"的专利，申请日期为2023-12-18。
专利摘要显示，本发明涉及一种支持神经网络推理移位量化计算的NPU设计方法，该方法包括以下步骤：1）提供训练完成的定点int8类型的卷积神经网络模型和每个卷积层对应的移位数；2）在神经网络推理过程中，卷积的偏置项bias不参与卷积操作，卷积的权重与输入数据进项卷积操作；3）在卷积计算完成后，经过移位操作得到计算结果；4）对移位结果数值截断，取低八位数值，保持符号位不变；5）对移位结果数值范围限制在int8表示范围内，即[‑128,127]之间；6）对移位后数值加上偏置项bias，并将结果数值限制在int8表示范围内，即[‑128,127]之间；7）在神经网络推理过程中除了卷积算子外，其它算子计算方式保持不变。本发明可以达到神经网络算法在NPU上迁移时0精度损失。
查看详情 : 一种支持神经网络推理移位量化计算的NPU设计方法
原文链接 :
点击查看
评论 (0)