魏进武讲解《新一代大数据开源技术与产业发展白皮书》

1970-01-01 08:00

2018年1月21日,运营商世界网在北京国际饭店举行了“TMT行业领秀榜盛典”,本次领秀榜设立了包括“年度优秀运营商和铁塔公司”、 “年度优秀人物”、“年度优秀手机产品“、“年度优秀家电产品”、、“年度最佳互联网APP”、“年度互联网企业创新奖”、“年度优秀IT数码产品“、”年度优秀通信设备商“、”年度物联网五强“、”年度云市场十强“、”年度优秀芯片及操作系统“、””年度十大公关公司“年度优秀自媒体账号及自媒体人“等多项大奖,由运营商世界网牵头组建的”中国主流科技媒体联盟“也在会上挂牌成立。

国内三大运营商集团公司和中国铁塔公司、数十家运营商、铁塔省公司及地市分公司、100多家手机企业、互联网公司、家电企业、IT数码企业、通信设备商、芯片企业、国内知名高校、科技业主流公关公司以及上百名媒体和自媒体人参加了此次颁奖盛典。

此外,此次盛典还发布了《2017年通信业研究报告(含云和物联网)》、《2017年三大运营商新闻及品牌传播力报告》、《2017年手机行业在网报告》、《2017年家电行业研究报告四大行业研究报告》,会后还将陆续发布《2017年互联网行业研究报告》和《2017年IT数码行业研究报告》,运营商世界网会在近期进行多角度的系列解读。

微信图片_20180121161535.png

以下是中国联通研究院大数据研究中心主任魏进武深入讲解《新一代大数据开源技术与产业发展白皮书》演讲实录。    

各位领导、各位来宾,下午好!下面由我代表编委会小组汇报一下白皮书的主要内容。

大数据经过了十多年的发展,主要的助推力量技术是开源技术大数据的开源技术包含了四个方面:一个是数据本身的处理技术。第二承载大数据发展的算法的人工智能技术。第三大数据软件的容器技术。第四类承载大数据发展的算力、调度的基础,资源管理技术,就是DC/OS技术。

随着国家“互联网+”战略的推进,产业互联网已经提供了很大的商业市场的蓝海,而云、大、物、移,及AI代表的ABC类的开源技术无疑提供了一个产业发展的技术上的坚实推动力。而且开源技术,技术的开源化带来了整个技术软件技术产业化发展的方式上的转变,传统来讲,软件技术发展是由技术试验和标准化再到商业化的软件产品的路线,随着开源生态的建立,软件的发展已经由新技术实验到迭代化开发、产品化,以应用为导向的路线发展,省去了中间标准化的阶段和过程。

开源生态圈里有几个特点:

第一,开源项目数量巨大。

第二,开源项目里的规模化上,各个项目规模化不一样。

第三,参与开源的企业很多。

第四,全球从事开源技术的人员贡献和应用极其庞大。

我们主要还是依托国外主导的开源技术,我们重点以应用为主。逐步这几年来也在不断加强开源方面的技术贡献,整体来看国内在开源技术贡献方面相对比较低,另外一个更严重的情况是国内在开源方面的原创几乎没有。

从大数据来讲,开源技术从2005年Hadoop经历了大数据批储量技术和大数据流处理技术,到现在批处理和流处理相融合的技术发展路线。这9个有代表性的大数据代表性处理技术,从刚开始的大数据技术处理发展活跃十年,到现在一项新的技术发展起来只能活跃五年,就有新技术代替的步骤在迭代。

从大数据处理技术时间轴上来看,不同的技术都在向后兼容,试图统一化、一体化。同时,当前已经大数据发展到了流处理和批量处理融合处理的阶段,同时,也在把计算引擎和数据存储朝分离化的方向发展。

第二类,就是承载大数据处理算法的,以AI处理为技术的第二类开源技术,主要有五类代表性的框架。第二随着大数据项商业化价值发挥,也在一些新的硬件方面发展,AI处理里面三个主要的基石:一个是数据处理本身。一个算法的引擎,目前主要代表的有五类,开源AI处理的算法框架。第三类算力,包括新硬件,另外一个对于大量计算能力有效的部署和调度的软件框架。

在AI这块,从应用形态上来讲可能有各种各样的,有人机交互、后台、平台处理的,下一步将会对电信、金融行业等会有根本的影响。AI处理技术来说发展速度很快,发展速度加快导致产业规模化发展会放大300倍,影响力会放得更大,是这样的态势在发展。

第三类,软件的服务化封装,也就是容器技术。容器技术将会是下一代云计算的升级版,上一代云计算技术主要是在对于基础资源向下的整合,实现由设备变成资源的这一步。而下一代云计算主要技术会向上服务,对应用有效的能力化的分装服务。这主要的是开源技术,容器技术为代表的这类技术,目前发展速度来讲是以谷歌的Kubernetes为代表。

容器技术将会成为下一代面向应用服务的升级版的云计算技术。同时,容器技术也会有助于应用,或者说应用的分享,应用的服务化的再分享的发展。

第四类就是算力有效调度。openstack实现了设备向资源的,由设备向计算资源的转化,但是对于资源的调度能力十分有限的。随着技术的发展,现在出现了DC/OS技术,能够实现对算力有效调度,有效调度基础上也会实现敏捷快速、快速部署、弹性伸缩、高可用的特点。

这是我们认为的四类能够进一步促进大数据产业有效发展的开源技术的发展情况。

那么从整个大数据发展来看,技术上逐渐在应用开源、走向开源、拥抱开源,标准上也在逐步推动国家级大数据数据接口和数据类型和数据一致性等等的标准,相信在数据的开源,数据标准化两重有力推动下,大数据产业会走向另外一个更高的高度。

这是此次发布的《新一代大数据开源技术与产业发展的白皮书》,希望这个白皮书能够对于产业的发展和各位领导下一步的决策起到一定的参考作用。



分享至:
文章关键词:

关于网站