01. 成果简介 本成果涉及一种多模态触觉感知装置，属于机器人传感器技术领域。与人类相似，机器人感知外界环境最真实、稳定、便捷的方式便是通过机器人手触摸，机器人手的感知能力决定了机器人是否能够正确认知外界环境以及机器人的操作精度、成功率等。在新一代机器人手中，传感装置已逐渐趋于阵列化、多功能化和集成化。目前常见的触觉传感器有压阻式、电容式、光电式等，它们都存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势。目前基于视觉的触感装置仍存在性能提升空间。 本项目将感温变色油墨材料应用于触感装置，感知机器人操作过程中的温度[1]。同时提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等，从而提供了一种多模态触觉感知装置，可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息[2]。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，检测触觉、滑觉、压觉三维接触力，获得高精度的接触纹理信息，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化。本装置具有实时性好，检测稳定，检测误差小，检测精度高的优点。 图1. 基于微视觉的多模态触觉感知装置结构图图2. 结合多模态触感装置的机械手02. 应用前景 本成果技术可应用于工业机器人、智能机器人、人机协作、医疗康复等领域，应用前景广泛。03. 知识产权 本成果核心技术已申请发明专利3项。04. 团队介绍 项目团队致力于研究具备自主决策和学习能力的机器人操作技能学习系统。团队包括孙富春、方斌、刘华平、宋亦旭四位教师，专注智能机器人灵巧精准操作研究，研制了拟人触觉的传感装置、多模态穿戴交互装置、残疾人假肢灵巧手、仿人感知灵巧手和变刚度软体手，在本领域发表论文40余篇，申请专利20余项，获得IROS2016机器人灵巧操作比赛冠军、IROS2017服务机器人操作比赛亚军、WRC2016最佳科技创新奖等。同时团队和河北清华发展研究院合作成立了人工智能及机器人研究中心，共同推动智能机器人的产业化发展。05. 合作方式 技术许可。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn， fangbin@tsinghua.edu.cn

皮肤组织是人体最大的器官。它主要负责人体内部与外部的隔离与沟通，起到保护体内环境、排汗和感受外部刺激的功能。由于直接接触紫外光、化学物质等，皮肤的病变机率非常大。皮肤病能给患者带来瘙痒、疼痛、及各种美容问题，严重影响患者的身心健康，甚至影响患者的生命。因此，皮肤病的早期、准确的诊断和治疗至关重要。

Anter是以安全协作、自主运动、智能感知、行为决策为核心功能的多模态感知复合机器人。她开创了机器人协作、运动、感知决策的柔性工作模式，摆脱传统机器人位置固定、任务固定的结构化环境工作方式，适用于科研教育、工业移动作业、物流分拣、仓储管理、安防巡检、医疗服务、智慧零售等领域。

北京大学医学部多模态睡眠系统招标采购项目 招标项目的潜在投标人应在登录东方在线www.o-science.com注册并购买获取招标文件，并于2022年06月29日 09点30分（北京时间）前递交投标文件。

本发明公开了一种基于李群论的多模态情感识别方法，包括以 下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子， 基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序 列构建 ARMA 模型获取 ARMA 模型间的距离，根据 ARMA 模型之间 的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的 情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿 态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视 频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运 动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群 论进行多模态情感识别，提高模型进行情感识别的精确性。

本发明公开了一种多模态生物力学显微镜及测量方法，包括从上至下依次设置的透射光源、光子晶体水凝胶薄膜、载物台、反射光源、成像组件；光子晶体水凝胶薄膜置于载物台上并保持悬空状态，使得透射光可以穿透薄膜到达成像组件，反射光经所述薄膜反射后到达成像组件；当待测细胞置于光子晶体水凝胶薄膜上后，支撑所述待测细胞的光子晶体水凝胶薄膜发生形变，使得光子晶体水凝胶薄膜上的反射光方向发生改变，成像组件收集反射光和透射光并进行成像，得到表征细胞牵引力的阴影图像。本发明能够对细胞牵引力进行实时测量，实现传统图像信息与力学信息的多模态成像。

本发明提供了一种模态试验中多传感器附加质量消除方法，推导模态试验中多传感器质量影响消除公式，确定模态试验中布置的传感器个数及消除传感器质量的顺序，基于实测的频响函数根据消除公式逐一计算消除各传感器质量影响的频响函数。本发明首先基于Ｓｈｅｒｍａｎ?Ｍｏｒｒｉｓｏｎ公式推导传感器质量影响消除公式，根据公式实测所需的频响函数，代入公式依次逐一消除，最终实现多传感器质量消除。本发明实现了消除模态试验接触式测量方法中传感器附加质量造成的测量误差，通过对实测频响函数信号的处理消除了多传感器质量对频响函数的不利影响，具有实际工程意义。

从2003年的SARS到2020年初的新冠肺炎，我国和全球各国人民均面临呼吸道疫情或疾病的严重威胁。研究表明，采用RT-PCR核酸检测，样品中病毒含量对诊断准确率至关重要，若采集的病原学样本病毒含量过低（咽拭子或庆液），可能出现假阴性（漏诊）的情况。超细径支气管镜可进入肺部支气管，通过吸引通道采集诊断精准度更高的痰或肺泡灌洗液用千检测，特异性好，为核酸检测假阴性率高的问题提供解决方案。 另外，对重症肺炎患者治疗，如果仅仅采用药物治疗，常难以有效控制感染，尤其是痰液黏稠及咳痰无力的病人，痰液容易阻塞支气管腔，进而易导致肺不张，对机械通气造成很大影响，从而影响病入脱离呼吸机。超细径支气管镜可有效清除气管中的分泌物，对病变肺段进行肺泡灌洗，清除分泌物更彻底，有效缓解呼吸道阻塞症状，提高疗效。因此在急救、病房、手术室及ICU等各部门均可发挥最大作用。 肺癌是世界范围内发病人数和死亡人数最多的癌症，但CT筛查发现的肺外周结节如何活检确诊仍需依赖支气管镜的微创活检。虽然活检是诊断金标准，但因为这些结节位于肺外周，常规支气管镜检查时镜下不可见，又因结节小，盲取活检的成功率很低，因此需借助超细径支气管镜及辅助导航技术引导至目标外周结节，来提高诊断准确率，因此高分辨超细径支气管镜在肺癌诊断和治疗中同样发挥不可或缺的作用。