2021-05-28

云原生数据湖的探索和实践:当汇量科技 EnginePlus 团队来到阿里云峰会

关于云原生数据湖,我们有什么心得?汇量科技Engine Plus产品负责人来到阿里云峰会,与你分享实践干货。

Avatar
Mobvista

从人工智能,到大数据,再到云计算,新技术的革命无处不在,不仅深刻改变着我们的日常生活,也已经成为产业数字化转型的必经之路。目前,我国人工智能核心产业规模已超过千亿元,全国在用数据中心机架数的总规模近400万架,大型以上数据中心超过250个。

扑面而来的数字浪潮之下,转型中的企业如何辨明方向、找到最适合自己的抓手和方案?

这里,给你答案——

5月28日,“2021阿里云峰会”在北京开幕。此次峰会以“云上创新”为主题,阿里云与众多嘉宾、合作伙伴共同探讨了企业数字创新的新思路、新策略、新产品、新方案,展开“云上创新”的全景图。

在28日下午举行的“全链路数据服务-大数据及AI论坛”分论坛上,汇量科技 Mobvista 资深算法架构师、EnginePlus 产品负责人陈绪受邀发表演讲,与嘉宾们分享了云原生数据湖的探索和实践,并介绍了 Mobvista 自研开源数据湖框架 StarLake 与新一代“一站式云原生大数据 AI 平台” EnginePlus 。

从数据仓库到湖仓一体:数据分析架构的演进

随着企业业务的快速扩展,衍生数据量面临爆发式增长,企业对数据处理分析的需求日趋迫切。在此背景下,创新技术与方案成为企业刚需,用以解决数据智能处理的挑战。

陈绪介绍称,云原生的数据分析架构,经历了从传统数仓,到数据湖,再到湖仓一体的演进。 

Mobvista 汇量科技资深算法架构师陈绪发言

Mobvista 汇量科技资深算法架构师、EnginePlus 产品负责人陈绪发表演讲

传统数据仓库强调结构化数据,在当今的互联网应用中会导致建模繁琐、流批架构复杂等一系列问题,传统的 hive 等方案也不再适配云原生的演进趋势。在这种背景下,数据湖应运而生。

数据湖解决了数仓的部分问题,例如实现非结构化数据的处理、流批一体化等等,此外,云上元数据和对象存储能力也在持续不断地演进、优化。在 OSS 的支撑下,计算和存储能够更好地实现分离,数据湖的能力由此得到扩展。

因此,数据湖和数据仓库的功能进一步整合,已经成为当前的趋势。

陈绪表示,从业务视角来看,理想的湖仓一体是以数据湖为“底座”,具备元数据管理强拓展性,同时优化对象存储访问的性能,进而能够优化宽表的实时多流摄入能力,最终能够统一支撑分析和科学 AI 的应用场景。

Mobvista 正在将这样的理想变为现实。

StarLake:Mobvista 自研开源数据湖框架

为在互联网业务中实践数据湖和湖仓一体化,Mobvista 自研并开源了数据湖框架 StarLake,实现大规模数据的实时摄入和更新,高效构建湖仓一体化分析平台,能够更好地解决开发者上云和数据处理的挑战。

相比开源同类数据湖框架,StarLake 具有哪些优势?

支持多级分区和 Range、Hash 两种分区模式,在 Upsert 场景上有较明显的性能提升,能够支撑实时宽表的能力;

采用分布式 DB 实现元数据管理,在扩展能力上进一步提升;

针对对象存储的专门优化: 通过重写文件解析层与存储层融合,达到计算和 IO 并行化;

同时支持 Copy on Write 和 Merge on Read 模式,支持高并发的写入能力;

将元数据、分区规则等进一步下推到计算引擎层,进行联合算子优化,提升查询分析的性能。

此外,在 Mobvista,StarLake 数据湖框架并非“单兵作战”,而是作为新一代一站式云原生大数据 AI 平台 EnginePlus 的一部分,在云原生的架构下,更好地为企业提供服务。

EnginePlus:新一代一站式云原生大数据 AI 平台

在 EnginePlus 平台上,StarLake 数据湖可以实现高效的数据摄入,为分析、计算提供“底座”,同时还可无缝对接 Mobvista 自研的开源机器学习框架 MindAlpha ,对数据进行人工智能建模。

EnginePlus 通过将大数据与云计算、人工智能等信息技术融合创新,实现数据摄入、数据计算、模型训练、在线预测的一站式闭环,帮助客户有效提升数据处理的效率与精准度。在大规模业务的生产验证下,EnginePlus 兼具快速接入、简单易用、高性能、高稳定性等特点。

具体应用是怎样的画面?这里,陈绪为嘉宾们举了个“栗子”:

Starlake 业务应用实例, Mobvista

在典型的个性化算法业务场景里,会存在多个实时流,包括用户数据流、item 数据流、交互数据流、离线数据等,通过 StarLake 数据湖框架,实时流可以直接并发入湖,使多个维度的更新同步进行。

结合 OSS 为数据湖提供的存储能力,我们就能搭建起一个实时化的宽表,在这个过程中,基本消除了传统数仓建模和 ETL 流程,随后就可以对接分析、BI 和 AI 的计算。

如此,业务流程变得更加敏捷,数据架构得到了大幅简化。这套架构已经在广告、电商、风控等场景得到落地使用。

数据湖场景下,云商产品去向何方?

作为云原生数据湖的深度用户,Mobvista 从业务视角分享了 StarLake 数据湖框架的架构实践。从架构角度,针对数据湖的场景,我们希望未来云厂商在产品功能上如何进一步发展?

在演讲后的圆桌讨论环节,陈绪给出了自己的观点:

站在互联网业务和云原生架构视角看“湖仓一体”的演进,未来将会是一个应用场景和底层架构融合 co-design 的趋势。

EnginePlus 的数据湖组件 StarLake,根据业务场景以及面向云上对象存储的需要有一些新的融合设计,也是一种新的 co-design;湖仓一体这种趋势中,我们也同样看到对象存储和应用层的融合——例如,近期 OSS 推出的加速器就是一个很好的功能;在未来,云厂商在对象存储上进一步提升元数据管理、一致性、并发吞吐等能力,更好地支撑各类实时数据分析的场景,能够进一步在湖上统一数据分析体系,是一个非常有意义的趋势。

陈绪在圆桌讨论,Mobvista

陈绪在圆桌讨论环节

伴随着新的行业发展趋势,Mobvista 将继续与合作伙伴携手共进,助力全球企业实现新一代数据智能开发、解放业务生产力,绘制更美好的“云上创新”全景图。

附产品链接:

EnginePlus 主页:https://engineplus.tech/

StarLake 开源数据湖:https://github.com/engine-plus/StarLake

MindAlpha 开源 AI 框架:https://github.com/mindalpha/MindAlpha

AWS Marketplace 产品链接:https://aws.amazon.com/marketplace/pp/B08YMV3TV5

Share