携程大数据平台最佳实践  
2017年6月24日
大数据
张翼
携程大数据平台总监
携程大数据平台总监；浙江大学毕业；之前曾在eBay中国研发中心和大众点评工作，从0开始组建团队，搭建起点评数据平台的基础架构；关注大数据底层和数据系统，对Hadoop，Hive，HBase，Spark，Storm等有所研究，致力于大数据系统在企业的落地，支持不同的业务场景的需要，产出业务价值。,
  • 分享简介

    现在大数据领域有众多的开源工具，传统的如Hadoop，Hive；前几年兴起的，现在渐渐成为主流的有Spark，除此之外还有Impala，Presto，Kylin，ElasticSearch，Alluxio等等；在实时领域，Storm， Spark-streaming，Flink，Beam（Google Dataflow的开源实现的项目）

    如何根据企业的实际情况选择合适的开源产品？

    这些开源产品有哪些擅长和不擅长的地方？

    各个开源产品之间如何整合？

    在使用过程中又会遇到哪些问题？

    这些问题如何解决？

    我会和你分享携程在这两年多的时间里面是怎么样一步一步走过来的，我们的经验和教训（总体层面 + 技术细节）

    另外我也会分享下携程在数据开发系统，以及查询系统方面的经验和构想，上层的系统 + 底层的基础平台共同组成一个坚实的大数据平台，给用户提供了在整个数据处理的生命周期稳定和方便的系统的支持。

  • 分享提纲

    1.携程大数据平台的简介

    2.大数据底层基础平台的实践


    a. Hadoop / Hive / HBASE
    b. 实时数据平台（Storm / Spark-Streaming）


    3.大数据开发和查询平台的实践


    a. 数据开发系统（调度，传输，主数据，质量校验）
    b. 数据查询系统（Adhoc，报表，OLAP）


    4.问题和解答

  • 分享收益


    1. 熟悉互联网主流的大数据平台的体系
    2. 了解如何根据企业的实际情况选择开源系统
    3. 了解如何在企业实际情况下落地，整合开源系统
    4. 了解如何构建大数据的运维和监控系统
    5. 了解如何构建企业的数据开发平台和查询平台


热门推荐