中飞院取得基于双模态交互的开放词汇三维场景理解方法专利

航空航天全产业链月度动态报告 获取样刊

航空产业网 2024-10-11

133 0 0

中国民用航空飞行学院取得一项名为"基于双模态交互的开放词汇三维场景理解方法"的专利,授权公告号CN118606900B,申请日期为2024-08-08。

专利摘要显示,本发明涉及涉及图像处理和计算机视觉技术领域,公开基于双模态交互的开放词汇三维场景理解方法,包括以下步骤:将原始点云数据输入三维场景理解模型,得到三维场景理解特征,所述三维场景理解特征同时具有文本信息描述和点云特征向量;所述三维场景理解模型包括点云特征提取网络、预训练图像语义提案网络、预训练图像生成文本网络、预训练文本编码网络、自适应语言文本编码器;构建损失函数对所述三维场景理解模型进行训练,所述损失函数包括实例预测损失函数、分类损失函数、图文匹配损失函数、关联损失函数。本发明结合点云、图像和语言类的模型,通过开放词汇和未见类别提高对三维场景的理解。

查看详情 : 基于双模态交互的开放词汇三维场景理解方法

原文链接 : 点击查看


评论 (0)


暂无评论

免费试用


请完善以下信息,我们将会尽快与您联系
若当前手机号码未注册航空产业网,系统在您提交信息之后会自动为您注册账号
用户密码默认手机号码最后6位