高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
大数据挖掘在植物表观遗传组学中的应用
近年随着测序技术的不断完善,生物领域积累了大量基因组、转录组、表观组学数据。怎样有效利用这些数据挖掘生物学新知识,是研究工作者在大数据时代面临的挑战。该研究以DNA甲基化测序数据入手,探索了大数据挖掘揭示生物学新知识的研究之路。翟继先课题组重新分析了公共数据库中来自不同实验室的约500余组Col-0型拟南芥DNA甲基化数据:通过比较单个突变体和多个野生型,鉴定了每个突变体中高置信度的DNA甲基化差异区域,进而分析了不同突变体间DNA甲基化差异区域的重合度,揭示控制DNA甲基化相关基因之间的联系。
南方科技大学 2021-04-13
基于物联网的智慧农业大数据集成应用系统
采用层次化、模块化设计,整个系统由数据采集控制模块、数据传输系统、自动反馈系统和显示系统组成。服务器整合数据存入数据库,采用大数据分析技术建立专家系统, 并以此作为自动调控的标准。在自动反馈系统里采用三级自动控制技术,分别是单片机控制的模块级、嵌入式网关级和服务器级,三者相互独立,互为保险,并且均可以根据实时环境状况做出调节,并自动下达控制指令。显示系统由三部分组成,一是位于农业现场的显示屏,二是 PC 终端,三是基于安卓系统的移动终端,从而实现环境参数值的实时观测和控制,并实时指导农业生产。系统可
扬州大学 2021-04-14
柴油车排放遥感大数据监测系统及监测方法
针对柴油机气态排气污染物遥感检测难题,提出了基于柴油机燃烧过程过量空气系数修正的遥感测试数据反演计算方法,从而实现对柴油车NO等气态排放物浓度实时检测,满足了国家遥感标准中对柴油车NO排放浓度检测要求。 一、项目分类 关键核心技术突破 二、技术分析 针对柴油机气态排气污染物遥感检测难题,提出了基于柴油机燃烧过程过量空气系数修正的遥感测试数据反演计算方法,从而实现对柴油车NO等气态排放物浓度实时检测,满足了国家遥感标准中对柴油车NO排放浓度检测要求。并针对国内遥感大数据提出了遥感大数据处理方法,分工况区域动态确定排放阈值,从而达到动态高精度筛查高排放柴油车的目的。在汽车排放遥感监测领域具有良好市场前景。
北京理工大学 2022-08-16
基于大数据分析的小基站开关控制方法
本发明公开了一种基于大数据分析的小基站开关控制方法,包括:采集场景信息步骤;数据预处理步骤;提取特征步骤;选择并训练模型步骤;预测步骤。本发明利用特殊场景下时刻表以及小基站接入人数的历史记录,建立数学模型,预测未来小基站内的待服务人数,根据待服务人数去控制小基站的开关,达到节能、减少基站间干扰的目的。 在建立数学模型的过程中,本方法结合数据挖掘和机器学习,提高了预测的准确率和系统的实用性。
东南大学 2021-04-11
长三角地区一体化发展三年行动计划(2024—2026年)发布!
为长三角未来三年工作重点明确了路线图和任务书,标志着长三角一体化发展向纵深推进。
上海市人民政府办公厅 2024-07-25
用于大数据处理系统的内存数据集置换系统与置换方法
本发明公开了一种用于大数据处理系统的内存数据集置换系统, 包括分析模块、信息监测模块、决策模块。分析模块用于对上层用户 程序进行逻辑分析,得出各运算阶段中生成内存数据集时的运算步骤 集合;信息监测模块用于对运行中的用户程序进行监测,并收集生成 内存数据集时的信息提交给决策模块;决策模块用于对收集到的信息 进行分析和排序,判断当前阶段是否需要对系统中的内存数据集进行 置换,在系统需要进行置换时确定需要移除的内存数据集并
华中科技大学 2021-04-14
一种焊割一体电源的焊割模式切换电路及方法
本发明公开了一种焊割一体电源焊割模式切换电路及方法;包 括焊接继电器组,切割继电器组,变压器组,整流二极管,滤波电感 和移相全桥单元;移相全桥单元、变压器组、整流二极管和滤波电感 依次连接,当焊接继电器组闭合且切割继电器组断开时,变压器组输 出为并联状态,此时焊割一体电源为焊接模式,输出焊接电源;当切 割继电器组闭合且焊接继电器组断开时,变压器组输出为先串联后并 联状态,此时焊割一体电源为切割模式,输出切割电源。本发明焊接 和切割模式使用同一组变压器,减少了变压器总数量,减少了机器的 重量、体积,分
华中科技大学 2021-04-14
一种用于船舶双向曲率板的冷热一体成型方法
本发明公开了一种用于船舶双向曲率板的冷热一体成型方法,包括:(a)构建专用的冷热一体成型体系;(b)为待成型板材的基础数据与其加工数据之间建立对应关系;(c)基于所建立的对应关系,选择确定适当的加工数据,并相应驱使冷热一体成型体系对板材执行加载;(d)对板材的成型效果进行监测,并比较和反馈已成型效果与加工目标之间的差异,基于所述差异,再次执行上述选择确定、加载和监测步骤,直至形成符合加工目标的双向曲率板。通过本发明,能够在提高加工效率的同时,可减低加工对板材性能的不利影响,降低装备成本,减小人员工作强度,同时显著提高船舶双向曲率板的成型精度。
华中科技大学 2021-04-14
熊猫教育多媒体智能一体机65英寸
产品详细介绍 产品功能特色: 高清画面视觉呈现 支持1080P、2160P高清分辨率,画面彩耀若晶,细节精彩毕现,带给观众更细腻的视觉体验。   高端大气的外观 全铝合金边框,尽显高端品味和金属质感;工业级专业结构设计,保证长期坚固耐用;4mm全钢化防炫光玱璃,防刮防撞,可水擦清洁。 影院级视听体验 采用前置出声设计,内置高保真扬声器,可满足80m多媒体教室的视听要求,无需外接音响就能享受震撼视听体验 。 智能双系统 模块化设计 Windows和Android双系统无缝切换,双系统均可独立实现白板书写、课件及多媒体播放;内置电脑采用模块化设计,维护超简单。 全触控+全书写 所有功能菜单和信号通切换全部可以在屏幕上直接操作,简单实用,极大的方便了电教老师的操作和使用。 多重节能 绿色环保 智能环境光感,屏幕亮度随环境光线变化而变化; 智能护眼功能,书写时屏幕亮度降低,保护视力; 一键节能功能,可一键关闭屏幕背光; 智能温控,有效监控、预警、降温保护。 外观显示:  1.显示尺寸:65英寸; 2.可视角度:≥178°; 3.最佳分辨率:1920×1080 RGB; 4.亮度:≥500nits; 5.对比度:5000:1; 端口设计:  1.视音频输入接口:TV;VGA;CVBS;YPbPr/YCbCr;HDMI; 2.视音频输出接口:CVBS;VGA;AUDIO OUT; 3.数据接口:RS-232;USB 2.0;USB 3.0;USB TP; RJ-45; 4.PC接口:RS-232; USB; HDMI;VGA;MIC;耳机;RJ-45;内置WIFI; 触摸性能:  1.多点触控,真6点以上(含6点); 2.红外触摸屏系统通讯端口:USB; 3..响应速度:4 ms   4.线性误差:1 mm; 5.触摸次数:无数次抗干扰、抗强光干扰; 电源功耗  1.电源:AC 100-240V,50/60Hz 2.整机功耗 ≤250 W,待机功耗 ≤0.5 W;       南京中电熊猫家电有限公司隶属于世界500强企业。中国电子信息产业集团有限公司,由中国电子熊猫集团直接管理的一家以研发,生产和销售家用,商用多媒体显示产品为主,能提供产品硬件,软件支持及电子信息化教育整体解决方案,拥有完善的售后服务体系的综合性品牌企业,2009年,中国电子全面地启动平板显示产业发展战略,中电熊猫引进夏普技术高世代液晶面板生产线。南京中电熊猫家电有限公司已成为中国平板显示产业链终端环节的重要平台。
南京中电熊猫家电有限公司 2021-08-23
首页 上一页 1 2
  • ...
  • 43 44 45
  • ...
  • 999 1000 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1