高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
基于局部分割与融合的特定人物识别
随着视频与图像技术的快速发展,在监控视频中识别特定人物身份有着重要的实用价值。本项目   针对现实场景下,普遍存在的面部遮挡以及拍摄机位和镜头距离变化,而导致传统基于正面人脸的识 别方法的准确率将大大降低,甚至识别错误的问题,提出了一种基于局部分割与融合的算法,应用于 视频分析平台下的特定人物识别,融合多部位识别特征,提高了部分遮挡、多场景和镜头变化下的人 物识别鲁棒性,经充分验证,达到了先进的识别精度,可以满足实际应用的需求。该技术是优化并提 高复杂背景下人物识别精准度的一项核心技术,已申请国家发明专利 1 项。
北京工业大学 2021-04-13
一种视频摘要中事件与背景的融合方法
本发明公开了一种视频摘要中事件与背景的融合方法。该方法在前景检测与目标跟踪的基础上,将事件与背景的融合问题分成事件预处理、背景帧选择、事件与背景融合三个步骤。首先对事件进行预处理,包括对事件按面积大小排序并调整局部亮度;然后,用事件投票的方式选择最优背景帧,使尽可能多的事件落在该帧背景上;最后融合事件与背景,根据当前位置的像素点在背景帧上的状态标志值和在图像块上的二值前景值选择使用泊松图像编辑方法融合或加权融合
华中科技大学 2021-04-14
基于多尺度空洞融合迭代优化的增强图像隐写
本发明公开了一种基于多尺度空洞融合迭代优化的增强图像隐写,适用于图像隐写领域,包括以下步骤:使用封面图像C获取其对应的增强图像E后,分别对其进行特征提取,后引入多尺度空洞融合的注意力机制;再将两个图像的特征融合得到图像X;之后与秘密连接形成载密张量M;编码器接收三个输入:图像M的特征、当前的扰动,以及这个扰动的损失函数的梯度进行拼接形成GRU单元的输入;通过反复应用编码器,最终生成的隐写图像;解码器接收编码器生成的隐写图像,经过一系列卷积,从隐写图像中恢复原始的隐藏信息;批评者网络来评估生成的隐写图像的自然性,并提供反馈;重复步骤2到5。最终生成的图像即为包含隐藏信息的隐写图像。本方法将学习和迭代优化方法结合起来,在双通道输入图像增强下结合多尺度融合注意力机制,从而找到图像中更适合隐藏信息的部分,使生成的隐写图像更加隐蔽。
南京工业大学 2021-01-12
科技讲堂第四讲|罗喜胜:育人为本、科教融合——关于教育、科技、人才一体化协同推进的思考
由中国高等教育学会科技服务专家指导委员会、中国高等教育培训中心、中国教育在线及千校万企协同创新平台共同举办的“落实全会精神 建设科技强国”科技讲堂第四讲。
中国高等教育学会 2024-10-27
华灿·高等学校产教融合交流活动在南昌举办
活动旨在为现代化产业体系建设和教育强国建设注入新动能,为两岸暨港澳青年创新创业、成长成才搭建新平台。
云上高博会 2026-05-28
北京大学生命科学学院季雄团队鉴定RNA聚合酶II转录工厂控制因子RUVBL2
研究者通过多种质谱筛选鉴定和多学科技术证实,AAA+家族ATPase分子RUVBL2能够直接控制活跃启动子附近的Pol II转录工厂。
北京大学 2022-11-08
铝熔体自生Al2O3-铁铝原位复相增强行为
研发阶段/n内容简介:采用原粉或中间合金直接在铝熔体中原位反应生成复合增强相的办法熔炼复合材料,分别在不同压力状态下(自重状态、100吨液压机上和1.5KW超声波发生器中)和约束状态下(将三维金属网预置于金属型中)凝固,在不同的工艺控制条件下(温度、压力、时间等),研究凝固组织中三维立体金属网、Al2O3、铁铝系金属化合物的形态及其微界面传热和传质规律,并通过不同的热处理工艺研究三维立体金属网络、自生弥散质点Al2O3、铁铝金属间化合物对金属基体复相强化特点。从而获得了具有高强度、高韧性、高模量、耐
湖北工业大学 2021-01-12
组织特异性表达的24-脱氢胆固醇还原酶编码重组腺病毒开发
本项目涉及阿尔茨海默症基因治疗法与治疗领域。更具体地,本发明涉及利用基因工程技术构建含有 dhcr24 基因的复制缺陷型重组腺病毒,以及这些腺病毒载体在将 dhcr24 基因转移入细胞以及实现 DHCR24 蛋白在神经细胞等细胞中特异性过表达的应用。制备的重组腺病毒有望在阿尔茨海默症以及糖尿病等疾病的基因治疗中获得肯定的疗效。
辽宁大学 2021-04-11
组织特异性表达的24-脱氢胆固醇还原酶编码重组腺病毒开发
本项目涉及阿尔茨海默症基因治疗法与治疗领域。涉及利用基因工程技术构建含有DHCR24基因的复制缺陷型重组腺病毒,以及这些腺病毒载体在将DHCR24基因转移入细胞以及实现DHCR24蛋白在神经细胞等细胞中特异性过表达的应用。制备的重组腺病毒有望在阿尔茨海默症以及糖尿病等疾病的基因治疗中获得肯定的疗效。 主要指标: 1. 在疗效确认的基础上,进行药物代谢动力学实验,研究其腺病毒表达蛋白DHCR24在体内表达及到达高峰及降解时间,提供药代研究的一系列资料。 2. 安全性确认:利用急性毒性试验采用大剂量注射方法,对选定候选重组腺病毒进行临床前安全性评价。
辽宁大学 2021-04-11
首页 上一页 1 2
  • ...
  • 75 76 77
  • ...
  • 999 1000 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1