多模态医学影像信息处理与分析，具有重大的应用背景，是国家和社会当 前高度重视的研究领域之一。 本项目拟基于机器学习方法，主要研究医学影像的特征描述、设备无关性 的特征评价与特征选择、基于内容的多模态医学影像检索、医学影像信息挖掘、 参考库建设与算法辅助研究平台的设计与开发等内容。研究目标为： （1）建立统一的特征描述模型，实现跨模态医学影像的统一特征描述； （2）提出有效解决特征提取层面上医学影像信息处理与分析算法的设备无 关性问题的通用框架； （3）在医学影像标注数据有限、数据库为海量等条件下，实现高效率单模 50 态影像检索，有效提高多模态、跨模态医学影像检索的精度，实现用户友好的 检索结果展示； （4）从结构复杂的多模态医学影像数据中，挖掘有用的知识，构建有效的 辅助诊断模型、实现个人疾病风险预警； （5）完成首期参考库建设与算法辅助研发平台的开发，为项目研究内容的 开展提供有效数据和环境支撑。本项目获得国家自然科学基金重点项目资助，项目执行期 2013.1-2017.12。

基于图像处理和机器学习进行人眼特征提取与分析，建 立基于特征模型与外观模型融合的智能视觉感知机制，并通过 海量大数据分析和建模计算，提出了智能视觉感知驱动的眼动 注视点计算方法，解决了跨设备坐标系空间无缝转换和多用户 标定模型共享等关键“卡脖子”技术问题。此外，提出基于深 度学习的运动想象脑电分类方法，面向人-机器人交互开发了 智能脑机接口与应用系统。 ：

复旦大学“基于类脑智能的舆情系统研究”项目组就疫情期间的网络热点展开了深入分析。其中由大数据学院魏忠钰副教授和新闻学院周葆华教授负责的用户画像团队，梳理了新浪微博中群体舆论演化总体态势及代表性群体的舆论特征，并对舆论引导方式提出了对策和建议。 01 大数据舆论分析：把握民意趋势、挖掘事件成因 团队分析了2020年1月15日至2月16日期间与疫情相关的3000万条微博，依托情感分析、话题聚类等文本挖掘手段准确感知网民的情感倾向转变和话题动态演化。 数据分析结果显示，疫情初期的舆论以负面情绪居多。随着中央全力部署、政府防控措施出台（实时数据的公布、武汉实行封城管控）、专家学者释疑解惑（钟南山院士、张文宏医生等对疫情的判断)，正向情感不断提高。随后虽然疫情增长率不断减缓，情感指数仍有变动，多与受疫情触发的热点议题相关。 02 群体画像：精准定位人群、感知个性化诉求 团队根据用户的职业、地域等属性将用户细分为不同群体，并进行参与度的动态比较，同时对代表性群体的网络言论进行定点分析，准确感知不同社会群体的心理诉求与价值预期。 对于不同职业的用户，在疫情爆发初期，自媒体、专业技术人员和学生较为活跃，在事件后期专业技术人员、 自媒体、 企业高管、新闻出版与文化专业人士较为活跃。聚焦于奋战一线的医护群体，大多向外界传递了一往无前的抗疫精神，也不乏个别事件令其承受巨大压力，需要更多的社会理解和关爱。另外，由疫情所带来的经济影响逐渐蔓延，私营企业主及工薪阶层群体面临巨大压力，大多显露出焦虑情绪，需要采取有力措施帮中小企业主纾困解难。 对于不同地域的用户，参与讨论的用户中广东、北京用户占比较高，其次是东南沿海各地，话题的地区“下沉”趋势明显。特别地，武汉患者群体作为地域分群角度的特殊主体，通过社交媒体向外界讲述自己的亲身遭遇，寻求社会救助，使个体诉求进入公共议程，激发了全网对于武汉患者群体命运的同情与共鸣。而随着国际疫情局势的不断紧张，华侨华人群体面临歧视压力，需要在下一阶段严防“输入”过程中予以妥善引导。 03 事件关联：警惕次生舆情、完善发声渠道 疫情期间，不少热点讨论相继引发了有关社会深层次问题的“次生舆情”，追踪事件关联将进一步协助制定危机应对预案。以近期学校实施网课为例，部分学校存在的网课工具攀比化、部分贫困群体的自卑自嘲心理引发讨论。而弱势群体缺少发声平台，若忽视其诉求将进一步激发矛盾。因此，各级政府要加强对复工复产复学过程中贫困人群的关心，新闻媒体要加强对弱势群体的报道抚慰，促进社会沟通与社会公平。 不同的群体聚集于不同的网络社区之中，舆论表达方式也不尽相同，对分群体舆论特征进行分析使得挖掘群体共鸣更为高效。团队将进一步推动分群体智能舆论分析和信息汇集平台建设，探索建立公共危机信息汇集平台。在中国疫情防控不断取得阶段性成果的同时，团队还将持续跟进对国际疫情的舆情分析，为网络空间现代化治理能力的提升赋能。

光学相干层析技术(OCT)是一种基于光学相干特性的在体、实时、高分辨率的三维断层成像技术，以其非侵入性及高分辨率等特点，在视网膜疾病的研究及临床诊断中日趋体现出巨大的潜力。近年来团队以OCT成像方式为主，结合自适应光学、光致超声、自发荧光等多种成像手段，研究具有国际先进水平的眼底多模态成像系统。新型的多模态成像方式可以同时反映视网膜的散射特性及光吸收特性，并同步获取眼底的结构与功能图像。该研究可以对由眼底视网膜病变所带来的眼底组织结构及功能上的变化进行观测和估计，实现相关疾病的早期准确诊断。

光学相干层析技术(OCT)是一种基于光学相干特性的在体、实时、高分辨率 的三维断层成像技术，以其非侵入性及高分辨率等特点，在视网膜疾病的研究及临床诊断中日趋体现出巨大的潜力。近年来团队以 OCT 成像方式为主，结合自适 应光学、光致超声、自发荧光等多种成像手段，研究具有国际先进水平的眼底多 模态成像系统。新型的多模态成像方式可以同时反映视网膜的散射特性及光吸收 特性，并同步获取眼底的结构与功能图像。该研究可以对由眼底视网膜病变所带 来的眼底组织结构及功能上的变化进行观测和估计，实现相关疾病的早期准确

产品详细介绍 并发处理能力强 服务器具有CPU+GPU方式并发处理能力，可同时处理和分析多路网络视频信号。 功能强大，集人脸/表情/人体姿态/声纹识别分析等功能于一体 ·对教师角色可进行讲授、板书、巡视、提问等教师行为分析，可分析教师教学情绪等应用； ·对学生角色可进行学生人脸考勤、学生情绪识别、学生行为（起立、听讲等）识别、学生 姿态识别等应用； ·对课堂可进行师生声纹识别、知识点识别、内容识别等应用。 集成度高、可靠性高 嵌入式一体化设计，部署和维护简单，分析精准化，设备运行稳定可靠。

中医理论和临证经验是通过传承、实践以及创新而形成的具有特色的知识体系，包含在中医辨证施治过程之和医案之中。中医医案蕴含着丰富的临证经验、诊疗技能、技巧和诀窍，医案包含的结构与关系非常复杂很难用计算机来分析处理。在多年工作积累的基础上，经过“十五”国家科技攻关计划 “基于信息挖掘技术的名老中医临床诊疗经验及传承方法研究”课题的深化，我们提出了基于语义网络的中医知识获取技术，并开发了中医医案管理与智能分析系统。系统以中医理论知识为基础，利用人工智能、中医自然语言理解技术，提供多种方法与工具对临床医案进行多层次解析和挖掘，以获取医案中隐含的诊疗知识和临证经验。系统以中医基础理论为知识源，通过对中医专家的医案进行实例化，提取医案中的诊疗规律和临证经验，医案分析结果可以用语义网络、表格以及可视化的形式展现出来。 系统包括领域知识建模、Ontology的形式化与存储、信息资源语义描述与存储、语义分析等多个组件。通过这些组件的有机结合，知识工程师可以利用领域本体中的词汇来描述WORD文档、文本文档等多种形式的信息资源；用户可以浏览领域知识树查找相关医案，查看领域本体中的概念描述，并通过语义查询接口进行语义查询。将相关技术集成开发完成了中医智能信息处理系统，系统主要实现了以下功能：①医案管理：对医案进行存储、检索、删除、修改。②文本预处理：对文本进行分词、标注、抽取特征词和特征词的标准化。③知识管理：对本体知识库进行标准化存储、更新和检索。④知识获取：对医案进行实例化映射，建立语义网络，获取中医知识。⑤数据挖掘：对医案进行常规的数据挖掘。⑥数据可视化：把知识模型以可视化的形式展现出来。本系统可用于国家中医药管理局、医疗机构等行业。

通过研究注意力机制、多尺度卷机和数据增强方法（随 机掩盖、真假数据融合等），解决医学影像中个体差异大的 病灶或病例难以有效识别的难题，突破微小病灶或细胞等小 目标难以被识别的瓶颈。

1.痛点问题 在临床医学实践过程中，会产生医学图像、电子病历、生命组学等多种类型的医学数据，这些数据能够从不同角度对患者的病情进行刻画。因此实现多模态临床医学数据的自动化和智能化分析，有利于推动国家健康医疗大数据产业的发展，助力“健康中国”战略的实施。 我国不同地区医疗水平差异较大，医疗资源在空间上分配不均。某些科室如影像科、病理科有较大的医师缺口，供需矛盾突出。这种供需不匹配的问题也造成了医生工作负担加重，患者等待检查结果周期变长等诸多问题。在当前情况下，短期内无法通过培养更多的新医生来缓解医疗资源供需紧张的问题。 为缓解上述问题，目前已有企业推出了基于人工智能的辅助诊疗产品，但这些产品大都针对单一模态的医学数据，无法从整体的视角进行辅助诊断和决策，辅助诊断的准确性仍有较大的提升空间。 基于以上痛点问题和产业机遇，我们希望通过技术创新，研发出一套有效的多模态医学数据智能分析系统，应用“多模态医学数据+人工智能”的技术模式，缓解当前医疗资源供需紧张的社会问题。 2.解决方案 本项目旨在研发对多模态医学数据进行有效整合分析的人工智能方法。处理的数据类型包括：患者的医学图像、电子病历、生命组学等多种模态的医学数据。针对医学图像数据，构建目标检测与分割、特征提取、相似图片检索等智能化算法；针对电子病历数据，构建分词、医学实体识别和标准化算法；针对生命组学数据，研究基因突变致病性预测的深度学习算法。上述多模态医学数据智能分析技术为基础，研发多模态医学数据智能分析的系列软件产品，为医院提供人工智能辅助诊断等应用产品。 3.合作需求 寻求与医疗机构、医疗设备耗材企业、远程病理运营企业开展相应的合作。

本软件主要功能是版面对象（文字、表格、公式、图形等）的自动识别，包括版面分割、样式识别、表格识别、公式识别、图形解析、文字识别与元数据抽取等。可用于数字内容制作（如点读书热区检测）、文件格式转换（如PDF到EPub）、表单识别与金融文档处理、数学公式识别与结构化拷贝、题库构建与试题检索、漫画制作与检索等。目前支持图像、PS、PDF、Word、EPub、网页等文件格式，支持图书、论文、证券研究报告、试题、表单类数据等。