2020-12-09

汇量科技陈绪:如何基于AWS构建一站式机器学习平台

近日,亚马逊年度盛会——AWS re:Invent 在线召开。汇量科技资深算法架构师陈绪应邀出席大会,与 AWS 资深解决方案架构师、区域经理张孝峰展开深度对话,分享了汇量科技是如何基于 AWS 构建一站式机器学习平台 MindAlpha 来满足日均千亿次预测并推动业务飞速发展的。

近日,亚马逊年度盛会——AWS re:Invent 在线召开,AWS re:Invent 创始于 2012 年,已成为全球云计算领域风向标,今年是 AWS re:Invent 有史以来首次在线举办。汇量科技资深算法架构师陈绪应邀出席大会,与 AWS 资深解决方案架构师、区域经理张孝峰展开深度对话,分享了汇量科技是如何基于 AWS 构建一站式机器学习平台 MindAlpha 来满足日均千亿次预测并推动业务飞速发展的。(点击观看深度对话视频

汇量科技成立于 2013 年,主要面向开发者提供全面的、一站式的移动广告服务和数据统计分析服务,旗下包含AI驱动的程序化互动式广告平台 Mintegral、移动效果营销平台 Nativex 以及游戏玩家数据分析平台 GameAnalytics 等。其中,Mintegral 在 AppsFlyer 于今年 3 月 31 日最新发布的《广告平台综合表现报告》中获得全球广告综合实力榜第六、量级榜第十、增长榜第二的排名,移动营销获客效果获得行业与全球客户的认可,可以说在服务开发者出海这一领域汇量科技已处于行业龙头地位。

从创立之初,汇量科技便选择将业务部署在 AWS 全云架构之上,与 AWS 一起成长,并逐步通过 AWS 的基础设施将业务遍布全球。陈绪介绍,AWS 完善而强大的云服务体系、低延迟全球跨地域数据梳理的特性以及 AWS 维护的开源 Apache MXNet 深度学习框架,是汇量科技选择 AWS 的主要原因。过往使用 AWS 产品服务的经验也表明,对于初创公司来说,AWS 能够帮助企业在早期节省大量架设硬件服务器成本。

目前,汇量科技已服务超过 200 个国家和地区,在遍布全球的业务需求下,汇量科技不仅要做到端到端的毫秒级延迟还需要实时捕捉用户的兴趣变化,这是非常苛刻的,需要有非常强大的算法支持。陈绪表示,整个过程中汇量科技主要面临“行业特性对实时性的要求”及“数据稀疏性与复杂性”两大挑战。

因此,汇量科技将 AWS 的多种技术服务与自身独特的算法结合,构建了一站式机器学习平台 MindAlpha,支撑了日均千亿次模型预测和百亿特征大规模的深度神经网络训练,涵盖从特征工程数据流、模型训练到线上预测的全部算法流程,使得算法开发迭代效率得到极大提升。整个平台支撑了汇量科技从广告召回、竞价、排序到反作弊等各类算法业务,非常有效地降低了成本,提高了效率。

MindAlpha, Mobvista

MindAlpha 等一系列技术创新不断推动汇量科技业务增长的同时,也使其获得了 AWS 的高度评价与认可,去年7月,汇量科技便已加入 AWS APN(AWS 合作伙伴网络),与 AWS 合作搭建云上中台,走出了“技术外溢”的关键一步。

面向未来与 AWS 的合作,汇量科技将从四方面展开:首先将继续深度优化 AWS 云原生的大数据分析和机器学习的在离线系统,进一步提高系统的性能和效率;其二,进一步尝试使用 ARM、ASIC 等新一代芯片等硬件,通过硬件的更新提升计算能力;其三,希望和 SageMaker 集成,提供更大规模的算法服务;最后,一站式机器学习平台 MindAlpha 也将作为 Marketplace 产品在 AWS 上对外发布,进一步服务 AWS 庞大的用户群体。

Link: https://www.chinaz.com/2020/1208/1213076.shtml

 

 

Share