前海中泰咨询

在线咨询 中文 | English
免费服务热线:
专题研究中心 大数据中心 前海中泰数据库

政策环境 概念特征 技术基础 应用领域 市场规模 区域应用 大数据动向

腾讯大数据平台每日数据计算量超30万亿

2019-11-06   前海中泰咨询

文章来源:腾讯科技】在11月6日召开的Techo开发者大会上,腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司。并且,随着资源管理平台核心TKE和分布式数据库TBase正式对外开源,腾讯正在成为大数据领域开源最全面的公司。


腾讯云副总裁、腾讯数据平台部总经理蒋杰


作为全球最大的互联网公司之一,腾讯的数据量在短短5、6年时间增长了几千倍,目前每天产生的数据量超过几十万亿条数据在产生。为了应对这种爆炸式增长,腾讯走出了一条技术引进+改造+自研的道路。经过长达十年的不断升级和完善,腾讯大数据平台已经经历了四代演进。针对最新的大数据和人工智能技术发展趋势,腾讯正在下一代计算平台中,探索批流融合、ABC融合以及数据湖和联邦学习等前沿技术。


十年四次升级 建立“大数据+AI”双引擎技术架构


腾讯内部目前有超过100万台服务器,腾讯云联合所有业务部门,利用业务空闲资源打造一套算力共享平台,该算力弹性资源池有20万的规模,大数据平台每天有1500万的分析任务、30万亿次的实时计算量,并且每天数据接入条数达35万亿条数据。此外,腾讯云的分布式机器学习平台,能支撑1万亿维度的数据训练。


能支撑如此大规模数据的接入和运算,是腾讯在大数据技术领域超过10年的积累,其核心的大数据平台已经完成了三次迭代。从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发平台智能钛TI,用来解决数据训练和算法的问题。目前,腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。


据了解,为支撑海量业务发展,腾讯已经建立了“大数据+AI”的双引擎技术架构,其中,最底层为分布式存储层,存储结构化及非结构化数据,第二层是资源调度层,做CPU、GPU和FPGA的管理,第三层是计算层、分析层、数据采集层,而顶层则是业务应用层。通过四层完整的技术架构,自下而上为腾讯的整个应用生态保驾护航,保障亿万用户能安全顺畅地享受到腾讯的优质服务。


从局部优化到自主研发 在实践中不断创新


从开始的技术引进、局部优化到如今的自主创新,腾讯的大数据技术在实践中不断完善、不断创新。十年前,腾讯管理几百个节点都很困难,调度性能差,规模上不去。为了有效解决计算能力和大规模集群问题,腾讯自研调度器,相对原生调度器性能提升150倍,大大提升了集群可扩展性。2016年,腾讯打破Sort Benchmark四项世界纪录,标志着算力已经达到世界领先水平。


由于腾讯20万台弹性资源池的机器分布在多个数据中心,不同地区甚至是不同国家,为了降低数据使用壁垒,去年自研了漂移计算引擎SuperSQL,作为统一的数据分析入口,通过智能CBO优化器,将计算下推到分布在各地的异构数据源,数据分析性能提高很多倍,并且数据量越大优势越明显。


数据应用越来越深入,腾讯对数据挖掘的需求也越来越多。随着模型的增大,最初用来做数据训练的MR、Spark已经不能满足上亿的模型维度的需求。2015年初,腾讯开始自研高性能的分布式机器学习平台Angel,采用PS架构,能支持10亿维度。目前Angel发展到3.0版本,能支持万亿维度,也可以兼容Spark、PyTorch、TensorFlow等生态,进一步降低了使用门槛。此外,Angel今年还新增了对深度学习、图计算等的支持。


腾讯正成为大数据领域开源最全面厂商


技术迭代不断加速,企业建设大数据平台和机器学习平台,不仅成本高昂,而且缺乏相应的专业人才,面临种种问题。


云时代,这些问题得到有效解决。目前,腾讯已经把网络、存储、数据库等IaaS能力,大数据、机器学习等PaaS的能力,以及上层的图像、语音、NLP、BI等SaaS能力,通过腾讯云对外开放。在大数据和AI两个领域,腾讯推出了以TBDS和智能钛TI为首的双引擎。让每个企业,不需要专业的大数据和AI团队,也能便捷用上领先的大数据和AI的能力。


另外,腾讯也通过开源和广大开发者共享技术成果。从2014开始,将第一代平台的核心,腾讯版的Hive进行了开源,2017年,更是把第三代平台的核心Angel开源。今年,腾讯加快了开源的脚步,在内部推开源协同的战略推动下,腾讯所有的技术栈,后续会越来越开放。


2个月前,腾讯在ApacheCon 2019上,面向全球开发者正式宣布开源自身核心平台——实时数据采集平台TubeMQ,并捐献给Apache社区。此次在Techo大会现场,再次重磅宣布正式开源资源管理平台核心TKE和分布式数据库TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商。


“目前,已经有数百万的开发者在腾讯云上构建应用,相信后面会有越来越多开发者加入,我们将和所有开发者一起,共建云上的应用生态”,蒋杰表示。


来源:腾讯科技

返回

静态手机移动端二维码_副本.png手机版网站微信订阅号
版权及免责声明

凡注明来源的文/图等作品,均转载自其它媒体,版权归原作者所有。本网转载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性,本站只提供参考并不构成任何投资及应用建议。前海中泰咨询倡导尊重与保护知识产权,如发现本站文章存在内容、版权或其他侵权问题,烦请联系删除。联系方式:editor@qhztzx.com、0755-32919669,我们将及时沟通与处理。

—————   咨询 · 服务   —————


consult-service-1.png

园区规划

consult-service-2.png

产业规划

consult-service-3.png

可行性研究

consult-service-4.png

商业计划书

consult-service-5.png

医院策划

consult-service-6.png

战略规划

consult-service-7.png

市场调研

consult-service-8.png

研究报告

-----------------------------------------------------------------------------------------------------------------------

consult-service-9.png

军民协同发展

consult-service-10.png

生物产业

consult-service-11.png

特色小镇

consult-service-12.png

战略新兴产业



典型案例推荐

海南康复疗养研究基地项目.jpg温泉国际度假养生颐养中心.jpg山东省机器人产业园项目.jpg陕西新能源汽车产业园项目.jpg
海南康复疗养研究基地项目温泉国际度假养生颐养中心山东省机器人产业园项目陕西新能源汽车产业园项目




成都高新区节能环保产业规划.jpg云南康养生态园区规划项目.png海洋工程装备开发制造项目.jpg农资仓储物流中心项目.jpg
成都高新区节能环保产业规划云南康养生态园区规划项目海洋工程装备开发制造项目农资仓储物流中心项目


上一条人民网研究院与百度联合发布《新型冠状病毒肺炎搜索大数据报告》
下一条央企如何赢在大数据时代?

大数据中心

专题研究中心MORE+
  • 新能源产业

    近年来,在传统能源供应日趋紧张,环境保护压力加大的背景下,新能源成为我国重要的能源战略。

  • 生物产业

    随着现代生命科学快速发展,以及生物技术与信息、材料、能源等技术加速融合,高通量测序、基因组编辑和生物信息分析等现代生物技术突破与产业化快速演进,生物经济正加速成为继信息经济后新的经济形态,对人类生产生活产生深远影响。

  • 新能源汽车产业

    新能源汽车行业涉及国家能源安全、环保以及汽车产业兴衰等,目前世界主要汽车大国美/欧/日/韩等都已相继对新能源汽车行业进行了一系列战略布局,国内主要车企也相继提出了各自的新能源汽车战略,新能源汽车产业化、本土化浪潮势不可挡。

 

免费咨询热线:400-6630-998

地址:深圳市南山区深南大道9030号沙河世纪假日广场B座507

邮箱:info@qhztzx.com

官网:www.qhztzx.com

手机版网站前海中泰咨询移动端微信订阅号前海中泰咨询 - 订阅号微信服务号前海中泰研究咨询 - 12cm.jpg

联系我们 | 网站地图 Copyright © 2017 前海中泰(深圳)研究咨询控股有限公司 粤ICP备17093436号-1 Powered by szweb
0755-32919669 深圳前海中泰咨询公司微信 在线咨询