MindAlpha,AWS, Mobvista
2020-12-23

日均千亿次预测的背后:MindAlpha 是如何构建的

一站式机器学习平台 MindAlpha 的背后逻辑, 资深算法架构师陈绪为你解读。

Avatar

近日,亚马逊年度盛会——AWS re:Invent 在线召开,AWS re:Invent 创始于2012年,已成为全球云计算领域风向标,今年是 AWS re:Invent 有史以来首次在线举办。汇量科技资深算法架构师陈绪应邀出席大会,与 AWS 资深解决方案架构师、区域经理张孝峰展开深度对话,分享了汇量科技基于 AWS 构建一站式机器学习平台 MindAlpha,来满足日均千亿次预测并推动业务飞速发展的背后逻辑。(点击观看深度对话视频

从创立之初,Mobvista 便选择将业务部署在 AWS 全云架构之上,与 AWS 一起成长,并逐步通过 AWS 的基础设施将业务遍布全球。

陈绪介绍,AWS 完善而强大的云服务体系、低延迟全球跨地域数据梳理的特性以及 AWS 维护的开源 Apache MXNet 深度学习框架,是汇量科技选择 AWS 的主要原因。过往使用 AWS 产品服务的经验也表明,对于初创公司来说,AWS 能够帮助企业在早期节省大量架设硬件服务器成本。

目前,Mobvista 已服务超过200个国家和地区,在遍布全球的业务需求下,我们不仅要做到端到端的毫秒级延迟还需要实时捕捉用户的兴趣变化,这是非常苛刻的,需要有非常强大的算法支持。

陈绪表示,整个过程中汇量科技主要面临“行业特性对实时性的要求”及“数据稀疏性与复杂性”两大挑战。因此,Mobvista 将 AWS 的多种技术服务与自身独特的算法结合,构建了一站式机器学习平台 MindAlpha,支撑了日均千亿次模型预测和百亿特征大规模的深度神经网络训练,涵盖从特征工程数据流、模型训练到线上预测的全部算法流程,使得算法开发迭代效率得到极大提升。整个平台支撑了 Mobvista 从广告召回、竞价、排序到反作弊等各类算法业务,非常有效地降低了成本,提高了效率。

MindAlpha 等一系列技术创新不断推动我们的业务增长的同时,也使其获得了 AWS 的高度评价与认可,去年7月,Mobvista 便已加入 AWS APN(AWS 合作伙伴网络),与 AWS 合作搭建云上中台,走出了“技术外溢”的关键一步。

面向未来与 AWS 的合作,Mobvista 将从四方面展开:

  1. 继续深度优化  AWS 云原生的大数据分析和机器学习的在离线系统,进一步提高系统的性能和效率;
  2. 进一步尝试使用 ARM、ASIC 等新一代芯片等硬件,通过硬件的更新提升计算能力;
  3. 希望和 SageMaker 集成,提供更大规模的算法服务;
  4. 一站式机器学习平台 MindAlpha 也将作为 Marketplace 产品在 AWS 上对外发布,进一步服务 AWS 庞大的用户群体。
Share