hermes分析型数据库的自研之路
2018年7月1日
大数据/数据驱动
邓启斌
腾讯数据平台部高级工程师
腾讯数据平台部高级工程师，hermes分析型数据库负责人。 曾就职YY语音，负责集团大数据平台研发、个性化推荐后台研发。擅长分布式数据一致性和事务处理，高性能的后台架构。,
  • 分享简介
    hermes是分布式的面向分析型的数据库，在腾讯集团内部大规模应用，支撑了海量结构化和非结构化数据的全文检索、万级维度的分析业务。经过3年时间技术和方案打磨，从2017年起hermes产品化，在如金融、公安领域取得一些成功的案例。此次分享跟大家一起探讨hermes的索引特性、服务高可用架构、高吞吐量架构、高性能分析原理，分析hermes如何立足于众多的NoSQL之中。
  • 分享提纲

    hermes在腾讯的应用；

    hermes的索引特性；

    hermes的高可用架构；

    hermes高吞吐实时写入技术剖析；

    hermes高性能分析技术剖析；

    hermes的运营打磨与特长

  • 分享收益

    1.目标: 讲解分析型数据库的底层技术和架构设计，以及在业务中积累的经典案例，让大家从整体认识分析型数据的技术特点和特长的业务领域。

    2.成功要点: 高效的索引、列式存储，追求极致的查询性能；高吞吐量的写入能力，数据高效的可见性；高可用的技术架构，将容错作为一项作要的功能；跟业务一起梳理需求，业务跟数据结合在一起设计。

    3.启示: 每一类型的存储引擎都要其善长的点和局限的点，hermes正是在万亿数据规模的检索和万级维度的分析的领域中，成为腾讯集团内部和多个政府、金融客户选择的方案，解决业务上高时效、低延迟的数据分析场景。

热门推荐