机器学习的数据平台构建
2019年7月21日
大数据平台和数据应用
冯凯
微博机器学习大数据平台负责人
微博机器学习大数据平台负责人,长期在微博大数据部门和微博机器学习部门从事搜索引擎、在线数据库方面的研发。搭建了微博的知识图谱搜索引擎、分布式特征KV数据库、分布式向量搜索系统,在线服务经验非常丰富。
  • 分享简介
    微博的机器学习平台支撑了微博feed推荐、热门微博、个性化push等许多业务,数据平台是机器学习平台的重要组成部分。本次分享将结合作者在搭建机器学习数据平台的经验,重点介绍三方面的内容:1机器学习推荐业务中的数据构成,数据特点,面临的数据共享,数据标准统一等问题。2微博的机器学习平台在解决这些问题时的架构设计思路和相应的成果。3 在线数据存储是如何做到标准化,支持高并发,保证实时性的?
  • 分享提纲
    1 微博机器学习平台简介
    2 数据平台设计原则和经验
    3 数据平台架构
    4 数据在线存储实践
  • 分享收益
    目标:帮助听众了解如何搭建统一的机器学习数据平台,达到加快业务迭代,资源共享,节约成本的目的。
    成功要点:
    1 分享微博机器学习业务的特点,存在哪些数据问题;
    2 介绍微博数据平台的组成,架构和搭建平台的经验;
    3 分享在线特征存储技术实践。 
    启示:
    1 如何搭建统一化、标准化的机器学习数据平台
    2 机器学习业务中,在线特征存储如何支持高并发,实现高性能
热门推荐