广告系统技术实践-离线计算与实时计算
2018年7月1日
大数据/数据驱动
陈小龙
今日头条数据资深研发工程师
陈小龙，今日头条数据资深研发工程师，曾出版图书《微信公众平台开发实战与应用案例》，《php7实践指南》，目前主要研究数据领域,
  • 分享简介
    分享内容是业内广告系统中常用的离线计算和实时计算技术，介绍大数据在广告系统中的具体应用以及各个大数据工具组建之间的协调同步应用实践。讲解广告系统中所涉及到的hadoop,spark,hive,elasticsearch,druid等常见技术的应用规模和应用场景，如spark在系统计费环节，数据流处理环节的具体实践，hive在数据仓库中的数据分层建模,以及如何将应用维度数据导入在线查询引擎es druid，如何选定合理的数据聚合方式。然后还讲解到es druid的存储原理，行式存储和列式存储的区别。分享内容从基础使用到原理讲解，从系统架构到技术细节，从宏观概括到原理认识。
  • 分享提纲

    基于大数据使用平台计算技术展现如下实例

    Hadoop

    Spark

    Hive

    ElasticSearch

    Druid

  • 分享收益

    １.目标：构建一套广告系统中的大数据服务平台

    ２.成功（或教训）要点：优化离线计算的数据产出流程，减少计算时间，优化用户体验，增强实时计算的服务稳定性可扩展性，防止维度爆炸数据激增带来的安全隐患

    3.启示：可以对业内广告系统中的大数据应用有个整体认识

热门推荐