贝壳找房大数据平台架构实践
2018年7月1日
大数据/数据驱动
赵国贤
贝壳找房大数据架构技术负责人
贝壳找房大数据架构团队负责人，负责公司大数据存储平台、计算平台、实时数据流平台的架构、性能优化、研发等，提供高效的大数据OLAP引擎、以及大数据工具链组件研发，为公司提供稳定、高效、开放的大数据基础组件与基础平台。擅长分布式计算，分布式存储，以及大数据量处理引擎的优化，架构等相关技术。,
  • 分享简介
    要介绍大数据平台构建优化经验，大数据量引擎的选择，以及在olap引擎的经验，以及机器学习、深度学习基础平台的一些探索经验。贝壳找房对于实时流数据处理平台秒X平台的探索经验，大数据平台构建方法大同小异，但是平台构建以后也面临很多挑战，在面临这些挑战我们如何去克服、修复它，让平台更好满足用户需求，这就是本次主题的重点。下面是本次分享的内容章节，首先讲一下架构1.0与2.0，两者分别是怎么样的，从1.0到2.0遇到了哪些问题；第二部分讲一下数据平台，都有哪些数据平台，这些数据平台都解决什么问题；第三个介绍下当前比较重要的项目“olap引擎的选型与效果”以及遇到的一些问题；第四个简单讲一下在透明压缩方面的研究。
  • 分享提纲

    1、 贝壳找房大数据平台的应用实践

    2、 透明压缩的研发背景

    3、 架构1.0与架构2.0

    4、olap引擎的选型与效果


  • 分享收益

    1、目标：专注于贝壳找房平台的数据平台的架构设计，在贝壳找房平台大数据架构中遇到的挑战与实践的经验。

    2、成功要点：zfs技术的使用，kylin的优化经验 ，大数据olap平台的构建经验

    3、启示：透明压缩的技术架构，olap平台引擎优化与选型，架构1.0与架构2.0的实践经验

热门推荐