2021年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 第二届全国人工智能应用技术技能大赛江苏省选拔赛计算机程序设计员（工业机器人人工智能技术应用）职工组（含教师）实操题（样题）省赛选拔赛组委会技术工作委员会2021年9月重要说明1、比赛时间300分钟，180分钟后，选手可以弃赛，但不可提前离开赛位场地，需要在赛位指定位置，与比赛设备隔离。2、比赛共包括4个任务，总分100分，见表1。表1 比赛任务及配分序号名称配分说明1任务一：工业机器人与智能相机综合调试及应用352任务二：移动操作单元人工智能技术应用353任务三：机器人人工智能技术综合应用30合计1003、除有说明外，不限制各任务评判顺序，且不限制任务中各项的先后顺序，选手在实际比赛过程中要根据赛题情况进行操作。4、请务必阅读各任务的重要提示。5、比赛过程中，若发生危及设备或人身安全事故，立即停止比赛，将取消其参赛资格。6、比赛所需要的资料及软件都以电子版的形式保存在工位计算机里指定位置D:ROBAI。表2 资料明细表序号电子资料名称1硬件IO配置表2深度学习效果标准验证图像-螺钉3深度学习效果标准验证图像-螺母7、竞赛平台系统中主要模块的IP地址预分配如下表3所示。表3 IP地址分配表序号名称IP地址分配备注1电动手爪192.168.10.92主控PLC192.168.10.1033D智能相机192.168.10.114主控触摸屏192.168.10.125协作机器人192.168.10.1562D智能相机192.168.10.307AGV无线CPE192.168.10.508移动机器人(AGV)192.168.10.519工业机器人192.168.10.10010无线网桥AP192.168.10.2008、选手对比赛过程中需裁判确认部分，应当先举手示意。9、参赛选手在竞赛过程中，不得使用U盘。10、选手在竞赛过程中应该遵守相关的规章制度和安全守则，如有违反，则按照相关规定在竞赛的总成绩中扣除相应分值。11、选手在比赛开始前，认真对照工具清单检查工位设备，并确认后开始比赛；选手完成任务后的检具、仪表和部件，现场需统一收回再提供给其他选手使用。12、赛题中要求的备份和保存在电脑中的文件，需选手在计算机指定文件夹D:2021ROBAI中命名对应文件夹（赛位号+AI），赛位号为两个字母+5位数字，如DS21127。赛题中所要求备份的文件请备份到对应到文件夹下，即使选手没有任何备份文件也要求建立文件夹。13、需要裁判验收的各项任务，任务完成后裁判只验收1次，请根据赛题说明，确认完成后再提请裁判验收。14、选手严禁携带任何通讯、存储设备及技术资料，如有发现将取消其竞赛资格。选手擅自离开本参赛队赛位或者与其他赛位的选手交流或者在赛场大声喧哗，严重影响赛场秩序，如有发生，将取消其竞赛资格。15、选手必须认真填写各类文档，竞赛完成后所有文档按页码顺序一并上交。16、选手必须及时保存自己编写的程序及材料，防止意外断电及其它情况造成程序或资料的丢失。17、赛场提供的任何物品，不得带离赛场。18、竞赛平台系统中，分拣及装配工作台桌面布局图如图1所示，半成品箱体初始位姿俯视图如图2所示，V型立体仓库仓位定义如图3所示。图1 分拣及装配工作台桌面布局图2 半成品箱体初始位姿俯视图图3 V型立体仓库仓位定义 1 / 15一、 竞赛项目任务书任务一：工业机器人与智能相机综合调试及应用任务描述：根据任务书要求，通过人工智能技术赋能，在工业机器人分拣与装配单元中，通过操作3D视觉系统软件，完成3D相机的调试、标定；根据要求，采集、标注图像数据，完成基于深度学习的工件识别模型的训练及部署。通过综合操作、编程和调试，对工业机器人进行智能化赋能和综合应用，完成工业机器人基于3D视觉的工件无序智能抓取；通过调用规划软件，完成工件的装配。（一）手眼标定操作在工业机器人末端安装标定板，设置标定参数，完成工业机器人与相机之间的手眼标定。具体包含的任务：（1）在工业机器人末端安装标定板，对3D智能相机软件与工业机器人系统的通信进行设置，使3D智能相机软件获得工业机器人的控制权。（2）设置合理的相机参数，使其获取高质量的标定板图像数据。（3）设置合理的标定参数，启动自动手眼标定程序，根据标定误差的结果进行评判。（二）图像采集及标注操作3D智能相机和视觉系统软件，采集目标物体的图像数据，根据要求完成图像的标注。具体包含的任务：（1）设置、调整相机参数，使相机获得清晰、高质量的图像。（2）在“分拣及装配工作站”上的物料盒中，放入多个M6、M10螺钉和螺母，并手动调整合适的螺钉、螺母的位姿。然后，在保证图像质量的情况下，采集10张包含不同螺钉、螺母摆放位姿的物料盒图像。（3）利用内置的图像标注工具，对每张图像进行标注，要求每种型号螺钉、螺母的标注实例数量是20个。（三）模型训练及部署验证基于采集及标注的图像数据，训练工件识别模型。将训练后的模型导入并部署至视觉系统软件中，测试模型的识别精度。具体包含的任务：（1）启动模型训练，等待视觉系统完成工件识别模型训练；（2）将训练完成的模型分别导入至不同螺钉、螺母的视觉识别工程中，并设置相应的参数和感兴趣区域。（3）在视觉识别工程中，切换至虚拟相机模式，加载标准验证图像，利用已训练模型对其进行识别，验证模型的识别效果。（四）基于图形化编程软件的机器人程序编写使用图形化编程软件，编写工业机器人点位、I/O变量控制程序，控制工业机器人完成位姿固定工件的抓取及放置。初始作业状态设置：（1）在“分拣及装配工作站”的二次定位装置上，手动放置一个M6螺钉和一个M6螺母。（2）在“箱体旋转供料及装配台”的2号工位上，手动放置半成品箱体。（3）在“井式供料装置”中，手动放置3个箱体端盖。具体包含的任务：（1）编写图形化程序，示教工业机器人定位、设置I/O变量。（2）利用不同的夹具，完成M10螺母铆压、箱体端盖装配、M10螺钉锁紧等任务。请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执行相关手动操作。（五）散乱工件的分拣及简单装配使用图形化编程软件，编写工业机器人控制程序，结合3D智能相机识别的工件位姿结果，控制工业机器人完成对物料盒中散乱工件的分拣及简单装配。初始作业状态设置：在“分拣及装配工作站”的物料盒中，分别手动散乱放置螺钉和螺母；在“箱体旋转供料及装配台”的2号工位上，手动放置半成品箱体；在“井式供料装置”中，手动放置3个箱体端盖。具体包含的任务：（1）导入手眼标定的坐标系变换结果，设置合理的点云模板、抓取点位置以及抓取夹具参数等。（2）使用图形化编程软件，编写工业机器人控制程序。结合3D智能相机识别的工件位姿结果，控制工业机器人分拣一个M10螺钉和一个M10螺母，放置于二次定位装置上。（3）利用不同快换夹具，完成M10螺母铆压、箱体端盖装配、M10螺钉锁紧等任务。请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执行相关手动操作。完成任务二中任一任务后，即可以举手示意裁判进行评判！任务二：移动操作单元人工智能技术应用任务描述：根据任务书要求，通过人工智能技术赋能，完成移动操作单元（主要含AGV/操作臂）的地图构建、自主避障、路径规划；通过控制协作机器人和视觉系统，在给定任务序列的条件下，完成仓库工件的取放任务。（一）建立环境地图利用移动机器人地图建模软件控制其在竞赛单元场地运动，结合其自带的智能传感器，构建环境地图。在环境地图中设置导航点，完成移动机器人自主导航与移动。具体包含的任务：（1）利用移动机器人地图建模软件，控制其在竞赛单元场地运动，构建环境地图。（2）在环境地图中设置导航点，在“分拣及装配工作站”附近设置合理的导航点；在“V型立体仓库”的箱体放置区一侧，设置合理的导航点；以及中间过渡导航点。（3）测试移动机器人的自主导航功能，控制移动机器人从“V型立体仓库”导航点自主移动至“分拣及装配工作站”导航点。（二）目标物体的识别与抓取对协作机器人及其末端安装的智能2D相机进行编程，完成对目标物体的识别与抓取。初始作业状态设置：手动在“半成品箱体放置区”1号仓位放置半成品箱体。具体包含的任务：（1）控制移动机器人从起始点自主移动至“V型立体仓库”导航点。根据仓库中“半成品箱体放置区”和“成品箱体放置区”的仓位位置，对协作机器人进行示教编程，使每个仓位均处于智能2D相机视野的合理位置。（2）针对在“半成品箱体放置区”仓位中放置的半成品箱体，对智能2D相机进行调试、编程，使其识别并输出箱体的位置。（3）基于智能2D相机识别的结果，引导协作机器人实现对“半成品箱体放置区”1号仓位半成品的抓取，然后，协作机器人将半成品箱体放置于“成品箱体放置区”3号仓位。请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执行相关手动操作。（三）移动操作臂协同抓取工件对由移动机器人、协作机器人组成的移动操作臂进行联合调试，首先控制移动机器人从指定位置向作业点自主移动，然后协作机器人与2D智能相机协作，完成目标工件的识别与抓取，最后移动操作臂将工件放置于指定作业点的工位上。初始作业状态设置：手动在“半成品箱体放置区”2号仓位放置半成品箱体。具体包含的任务：编写程序，实现如下功能：a）移动机器人从起始点自主移动至“V型立体仓库”导航点，识别并抓取“半成品箱体放置区”2号仓位上的半成品箱体；b）协作机器人将半成品箱体放置于移动操作臂台面的箱体缓存工位上；c）移动机器人自主移动至“分拣及装配工作站”导航点；d）利用2D智能相机识别“箱体旋转供料及装配台”的1号工位位置，引导协作机器人抓取半成品箱体，并放置于“箱体旋转供料及装配台”的1号工位上。请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执行相关手动操作。完成任务三中任一任务后，即可以举手示意裁判进行评判！任务三：机器人人工智能技术综合应用任务描述：根据任务书要求，通过综合操作、编程和调试，对工业机器人、移动操作臂及智能机器人等单元进行智能化赋能和综合应用，在“机器人人工智能技术应用”技术平台上，实现典型智能制造工业场景的完整工艺流程，综合体现机器人智能感知、自动决策、自主执行、互联互通、深度学习、人机交互、自我管理等人工智能技术要素及其职业技能。（一）各单元联机通讯基于技术平台各个单元的调试状态以及通信方式，编写PLC主控程序，实现技术平台各单元的联机通讯。具体包含的任务：（1）编写PLC主控程序，配置主控单元与分拣及装配工作台的通信模块。（2）编写PLC主控程序，配置主控单元与移动操作臂的通信模块。（二）测试主控对各个单元的控制编写PLC主控程序，实现主控系统分别对分拣及装配工作台、移动操作臂等单元的单独控制。通过主控系统发送任务启动指令，各个单元反馈状态信息。具体包含的任务：（1）将分拣及装配工作站调试至准备状态，向PLC主控程序反馈“已处于准备状态”的代码，并在触摸屏上显示。（2）将移动操作臂调