人工智能视听感知机器人虚拟仿真实验平台设计与应用
时间：2023-03-04 11:30:03 来源：千叶帆 本文已影响人
杨淑莹，郭杨杨，田 迪，赵 敏
（1.天津理工大学 计算机科学与工程学院，天津 300384；
2.天津理工大学 学习型智能系统教育部工程研究中心，天津 300384）
当前，将人工智能技术与机器人控制技术深度融合与集成是“中国制造2025”的主攻方向[1]。将虚拟仿真技术、互联网技术、人工智能技术应用到机器人实践教学中，是人工智能领域高阶前沿技术应用，也是智能机器人领域面对的交叉学科挑战。2018年将发展人工智能上升至国家战略高度；
2018年教育部发布了《高等学校人工智能创新行动计划》[2]。这对高校人才培养模式提出了挑战，快速推动智能机器人虚拟仿真实践教学[3-5]成为高校开展新工科教育的必由之路。
智能机器人决策系统[6]不是一个简单的模块，而是一个相互交织的复杂系统，是关键部位。单一的数字图像处理、语音信号处理、模式识别等实验不能使学生了解复杂系统相互交织的逻辑关系，不利于综合性跨学科学习[7]。且智能化机器人价格昂贵，一般每台30万元左右，台数少，受场地、器材、能耗等限制；
学生失误操作可能造成设备损坏；
直接对实体机器人进行人工智能算法搭建耗费大、效率低，教学效果得不到保证。除此之外，传统数字图像处理课程实验面向基础，主要是在预处理方面进行实验，而在新工科背景下，对实验教学提出了新的要求[8-9]。
因此，本文主要介绍天津理工大学团队自主建设的人工智能视听感知机器人虚拟仿真实验平台（以下简称实验平台）。实验平台突破时空、硬件、场地限制，通过网页前端同时控制虚拟和实体机器人，虚拟和实体机器人共享后端的人工智能技术[10-11]，打破了不同专业彼此独立，难以开展智能机器人综合性工程实践的境况，解决了综合性强、跨度大难以逾越的教学问题，实现了线上线下结合的虚拟仿真实践教学模式[12]，提升了学生对多专业知识的认知和系统工程的综合了解，测试了学生跨学科扩展知识的能力、多专业综合应用的能力和自主编程创新的能力。
除此之外，以视听信息控制虚拟机器人运动为应用场景，通过互联网进行直观、经济、精确及安全的操作，能够直观看到虚拟机器人实现智能控制的运动效果，提高学生的感性认识，缩短了建立实物和获取复杂知识的成本，弥补了智能机器人台数少、资源不足、操作训练不充分的短板，为硬件实践提供了知识与技能储备，拓展了学习资源和时空范围。将智能机器人方面的科研成果和产业转化成果转化为实验项目，融合了图像、语音、深度学习、模式识别、机器人工程等多学科项目，内容既含有独立于各课程的知识点，又相互关联合为一体，对推进我国工程教育有着十分重要的意义。
本文依托天津市教委“视听觉感知的类人机器人虚拟仿真实验教学项目”、天津理工大学国家级虚拟仿真实验教学示范中心、学习型智能系统教育部工程研究中心建设，打造面向人工智能技术的视听感知控制机器人虚拟仿真平台，探索智能机器人实现视觉、听觉、认知、推理和决策等功能的奥秘。通过网页前端采集静态的汉字图片、动态的手势视频和语音信息，后端运行人工智能算法，包括数字图像预处理和语音信号预处理、深度学习、自然语言理解Jieba分词，再将结果传递到网页前端。仿真再现设计模型结构和执行过程，引导洞悉、观察卷积神经网络CNN模型结构与Faster RCNN模型结构；
进行基于参数变化和结构变化的模型设计，观察不同方案下的仿真数据，开展设计方案分析，实现汉字识别、手势识别和语音识别控制虚拟和实体机器人。教学目的是使学生掌握人工智能技术，具备设计与开发基于视听觉感知信息控制机器人的能力；
提升学生跨学科扩展知识能力、多专业综合应用能力和自主编程创新能力。
以项目驱动为导向，设置多层次的综合实验教学项目，包含基础性、扩展性、综合性、创新性四个层次实验。循序渐进地把内容隐含在每一个层次中，使学生思考问题、解决问题，从而培养综合能力、创新意识及自主学习能力。综合实验教学项目具体层次如图1所示。
图1 综合实验教学项目具体层次图
1.1 专业基础实验
探索图像预处理技术规律，通过虚拟仿真实验进行效果分析，了解代码，掌握预处知识和开发技能。专业基础实验界面如图2所示。
图2 专业基础实验界面
1.2 扩展实验
扩展实验是采用前沿的卷积神经网络和Faster RCNN网络模型探索构建识别模型技术。实验内容从静态图片识别扩展到动态手势识别，从图像处理扩展到语音处理，从模式识别到深度学习。采用两种方式设计识别模型，即参数变化的设计和基于结构变化的设计。通过改变卷积核大小、通道数目、训练次数和卷积层数的变化，洞察识别精度，确定最优方案的识别模型。再现设计模型结构和执行过程仿真，引导洞悉；
观察不同设计方案下仿真数据，开展分析，实现视、听觉感知方式控制虚拟机器人运动和手语翻译功能。
扩展实验主要包括循序渐进布置三个进阶的实验任务，实现机器人视听觉的识别功能。教学内容包括数字图像处理技术、模式识别技术、深度学习技术等。本文扩展实验分别为基于静态图片的汉字识别控制机器人、基于动态视频的手势识别控制机器人、听觉语音识别控制机器人。
任务1：机器人视觉汉字识别与控制。基于静态图片的汉字识别模型搭建实验，如图3所示。
图3 机器人视觉汉字识别与控制
任务2：机器人视觉手势识别与手语翻译，基于动态视频的手势识别模型搭建实验，如图4所示。
图4 机器人视觉手势识别与手语翻译
任务3：机器人听觉语音识别与手语翻译，其次，实现机器人听觉的识别功能，如图5所示。教学内容包括语音信号预处理技术、语音信号特征提取技术、语音转化图片的识别技术等。
图5 机器人听觉语音识别与手语翻译
1.3 综合应用实验
综合应用实验是指从虚拟机器人控制发展到实体机器人控制，主要教学内容包括网页端控制虚拟机器人和实体机器人实验。实验内容从静态图像识别扩展到动态视频识别，从图像处理扩展到语音处理，从模式识别深入到深度学习，从虚拟机器人控制发展到实体机器人控制。
结合线下实践操作，在自行研制的类人型机器人上进行实验，达到虚拟理解与实体验证、虚拟与实际相结合的教学效果，实现视听觉感知综合控制虚实机器人。如图6所示，学生开展汉字、手势识别控制实体机器人手语翻译。
图6 综合应用实验控制实体机器人
利用已建立的模型完成视觉、听觉感知控制机器人运动，达成学科素养、毕业要求，具备从事智能机器人工程的研发能力。项目通过网页前后端信息交流，网页前端采集信息，后端进行人工智能算法运行，结果传递到网页前端。在网页端通过串口连接实体机器人，实现了同步控制虚拟和实体机器人，二者共享后端人工智能技术。
目前控制机器人实现了采集汉字、手势、语音信息的识别，还可以进一步实现采集二维码、标识符号、脑电等信息进行识别。便捷的实验环境易扩大训练集，增加控制虚拟和实体机器人的能力，提高教学的伸缩性和适应性，便于更新实验内容或扩展实验知识体系。
1.4 创新实验
在网页前端自主编程，改变模型参数或修改代码，考查学生的创新能力，学生开展自主编程实验。在创新实验中，网页前端为数字图像处理专业基础、汉字识别、手势识别提供编程环境。学生通过前端自主编程、查看后台代码、修改代码、运行代码等操作。在线实时控制机器人的运动，引导学生进行探究式与创新实践，培养学生拓展性思维与创新能力。
2.1 平台教学框架
本文实验教学目的是使学生掌握人工智能技术，具备设计基于视听觉感知控制机器人的能力。当前大多课程实验教学面向初级技术方面的人才培养方案，为克服不同课程内容之间缺乏关联性的不足，本文采用系统化和集成化方式构建教学资源，融合互联网、人工智能、虚拟现实、自动控制、机器人工程等相关技术，构建三个层次的实验教学框架，如图7所示。
图7 实验教学框架
1）教育应用层：提供基础、扩展、综合和创新四个层次的实验，学生根据自身需求开展实验。
2）感知交互层：负责提供虚拟和实体机器人视听感知、发声和运动，识别模型设计、参数选择、精度分析、虚拟人展示、虚实结合、操作语音引导等功能。
3）智能决策层：负责在后端服务器完成自主编程的人工智能技术算法，并将结果传到前端，提供在线运行、自主编程、自动评价等功能，提供示范代码。
2.2 平台系统架构
面向人工智能技术的视听感知控制机器人虚拟仿真实验采用B/S架构进行开发，虚拟仿真实验的教学体系架构如图8所示。
图8 平台架构图
基础层由学校、信息管理中心、教务处、实验中心等支撑和实验管理，以及师资服务构成；
网页应用层针对学生进行实验实践，同时兼顾到校内校外的辐射和共享。
后台服务器由人工智能算法处理核心模块和数据资源控制中心模块组成，使用Python实现并结合OpenCV类库进行开发。服务器端将人工智能的各种基础算法以Web Service服务方式封装，同时设计提供统一标准接口参数，形成算法处理核心模块；
同时后端存储学生的实验报告和实验过程评分，控制多线程运行。
客户端（Web UI）使用HTML5、Java Script进行前端开发。系统由网页信息传递和Three.js动画控制两部分组成，分为展示环境设置、虚拟机器人模型加载、前后端信息交互、虚拟机器人控制、在线预习、自主编程、教育应用、自动评价等模块。虚拟机器人演示系统主要借助于WebGL的第三方图形库Three.js来实现各信号和虚拟机器人之间的信息传递和动作演示。
人机交互实现传递实验参数、数据资源请求；
经过数据资源控制中心模块进行交换，以及数据分析、步骤检查、参数合理性、完整性等逻辑判断；
然后，形成一份完整的实验配置参数表，参数表通过Web Service接口传递至人工智能算法处理核心模块，在此进行算法运行。运算后取得识别结果，由后台控制中心将识别结果加工形成最终的识别编码，反馈至客户端，控制虚拟和实体机器人做相应的动作。
3.1 实验设计特色
本文实验平台旨在搭建多层次实验教学框架，开发形式多样的实验环境。教育应用层提供不同层次不同任务选择；
感知交互层提供视听感知、人机交互、虚实结合、机器人控制展示；
智能决策层提供多线程、在线运行、自动评价、数据库管理、学生前端编程创新，教师后端编程更新，支撑复杂的实践平台运行。依托Web前后端信息交互技术，采用B/S体系结构，将前端采集的信息交给后台服务器进行处理，后台服务器进行人工智能算法的执行，将结果返回前端，实现了智能机器人的感知、思考、运动的三个要素。本文虚拟仿真平台设计框架如图9所示。
图9 实验平台设计框架
本文设计深度学习的卷积神经网络模型、Faster RCNN模型，实现静态汉字图像、动态手势视频识别，扩展到语音识别；
将人工智能、机器人控制等多学科、碎片化知识融合、跨专业能力融合，应用前沿技术实现视听感知控制虚拟或实体机器人，具有高阶性。
网页端连接实体机器人，与虚拟机器人共享感知信息和后端人工智能算法，同步控制；
可多台实体机器人与虚拟人同时测试；
实现机器人感知、思考和运动三个要素；
虚实结合达到虚拟体验与实体验证，具有创新性。
3.2 教学方法特色
1）实施高难度测评。仿真再现CNN模型、Faster RCNN模型结构和执行过程，引导洞悉；
进行基于参数变化和结构变化的模型设计；
观察不同方案下识别率，开展卷积核、通道、卷积层数等变化分析；
自主编程窗口提供示范代码，效果展示。目的是测试学生跨学科扩展知识能力、多专业综合能力和创新能力，增加挑战度。
2）以项目驱动为导向，实施三个循环过程。交互过程含发布命令、视听感知；
探究过程含设计分析、动作分析；
认知过程含算法演示和机器人展示。可听可观及易评价过程，使课堂活起来。
3）构建学生发展为中心的智能实践教学系统。在语音提示操作、语音提问智能应答、自动评价等推动下，开展基础、扩展、综合和创新多层次实践；
提供进阶的任务、内容、实践资源；
实施进阶能力培养策略。内容结构符合学生成长规律。
4）构建特色评价体系。注重个体差异，根据能力和兴趣选择实验；
支持多种类型教学活动评价，有预习、操作、报告、效果等多元化评价；
注重结果反馈，提供识别率数据、效果图，有纠错功能。
4.1 平台应用及共享情况
实验项目主要面向计算机科学与技术、信息与计算科学、电子信息工程、物联网工程、机器人工程等专业的大三学生；
天津理工大学可应用本项目的专业课程包括：“数字图像处理”“语音信号处理”“模式识别”“图像处理与机器视觉”“机器学习与人工智能”“人工智能原理及应用”“机器学习”“计算机视觉系统与应用”“数字图像处理与图像分析”“人工智能”“智能机器人技术”等课程。在使用本虚拟仿真实验项目学习前，对于参加实验和实践的计算机科学与技术、信息与计算科学、电子信息工程专业、物联网工程、机器人工程等专业的大三学生，要求具备高级程序设计语言、数据结构等专业课程知识，掌握数字图像处理、语音信号处理的基本方法，在专业能力方面要求学生对模式识别流程、关键步骤、深度学习相关理论及应用有一定的了解。
实验平台依托上述课程向学生开放，从2019年3月1日平台开始上线，并同时向校内校外学生和社会人员服务，目前已服务过天津理工大学1 050名学生、300名外校学生以及700名外校人员。本文实验平台纳入4个专业的教学计划中，具体专业为计算机科学与技术、信息与计算科学、物联网工程、电子信息工程，平均教学周期为5个学时。
4.2 平台教学课程持续建设服务计划
本平台实验教学课程计划今后5年继续向高校和社会服务。第1年，对项目使用效果进行评估，并根据评估结果对项目进行更新及升级，进一步增加控制机器人运动的汉字库、手势库和语音词汇库，丰富虚拟机器人的动作库。项目推广至两所左右的高校或企业，预计服务1 000人。第2年，对项目使用效果进行评估，并根据评估结果对项目进行更新及升级，进一步更新人工智能算法，提升控制虚拟机器人运动的速度及正确率。项目推广至五所左右的高校或企业，预计服务2 000人。第3年，对项目使用效果进行评估，并根据评估结果对项目进行更新及升级，进一步增加前沿的人工智能算法，提升视听觉感知综合控制虚拟机器人功能，进一步扩充师资团队。项目推广至外省市10所左右的高校或企业，预计服务3 000人。第4年，对项目使用效果进行评估，并根据评估结果对项目进行更新及升级，进一步扩展实验内容，丰富虚拟机器人的功能。项目推广至外省市15所左右的高校或企业，预计服务4 000人。第5年，对项目使用效果进行评估，并根据评估结果对项目进行更新及升级，进一步提升虚拟机器人的智能性和自适应性，扩大虚拟机器人的应用性功能。项目推广至外省市20所左右的高校或企业，预计服务5 000人。
在实验平台评价方面，平台根据学生的随机选择表现不同的结果，给出不同的实验评价，通过多次实验向学生展示不同的实验结果。在教师布置实验时，要求学生撰写并上传实验报告，收集学生的反馈意见与评价，从而获得学生的真实体验和学习成果信息。
目前在平台实验中获得了200多份实验评价和实验报告，实验报告中体现了学生的实验操作流程、实验结果和实验评价，实验评价以文字和评分体现。其中，文字是通过学生真实的心理活动做出的，例如，某同学的文字评价中写道：“实验很有意思，很创新，让我了解了什么是人工智能技术，并且对于人工智能技术的实现也有了一定的了解，对于我以后的学习有莫大的帮助。”而评分则是根据三个部分进行打分，分别对实验内容、操作系统、支持服务进行分数评价，每个部分满分均为5分，基于该评分规则，综合目前所得的学生评分，得到如表1所示评分。
表1 学生评分表
通过表1可以看出，本文获得的学生满意度非常高，可以得出：在相关课程设置此虚拟仿真实验平台是非常有必要的。
通过在多门课程中应用本虚拟仿真平台作为教学实践，可以看出本平台在课程中对人工智能技术的必要性，且虚实结合的教学方法能够有效强化学生的学习效果，人工智能教学背景能够有效帮助学生认识现代智能识别的重要性与实用性。今后，将继续完善智能识别与机器人的虚拟仿真实验平台的建设，并将其应用于更多的课程教学实践中。
猜你喜欢 语音机器人实验教学 小议初中化学演示实验教学甘肃教育(2020年4期)2020-09-11电容器的实验教学物理之友(2020年12期)2020-07-16对初中化学实验教学的认识和体会甘肃教育(2020年8期)2020-06-11魔力语音阅读（快乐英语高年级）(2019年5期)2019-09-10基于MATLAB的语音信号处理电子制作(2019年14期)2019-08-20基于MQ3与MP3的价廉物美的酒驾语音提醒器电子制作(2019年9期)2019-05-30对方正在输入……小说界(2018年5期)2018-11-26几何体在高中数学实验教学中的应用中国教育技术装备(2016年11期)2016-12-01机器人来帮你少儿科学周刊·少年版(2015年4期)2015-07-07认识机器人少儿科学周刊·少年版(2015年4期)2015-07-07 相关热词搜索：人工智能，感知，机器人，
