云原生消息系统Apache Pulsar简介
2019年7月21日
新技术架构
郭斯杰
StreamNative联合创始人
StreamNative 联合创始人，VP of Apache BookKeeper, Apache Pulsar PMC Member毕业于中科院计算所，曾是Twitter Messaging Team的Tech Lead，专注于分布式消息中间件和分布式存储系统方向
  • 分享简介
    Apache Pulsar是下一代云原生分布式流数据系统。Yahoo在2016年底将Pulsar开源，并于2017年六月捐献给Apache软件基金会进行孵化，再经历了一年多的时间，8个大小版本的迭代。Apache于今年九月份正式宣布Pulsar成为顶级项目。
  • 分享提纲

    - - Apache Pulsar是什么

    - - 为什么我们要创建Pulsar

    - - Pulsar跟其他已有系统的不同之处：

    - 统一队列和流的消息模型

    - 计算和存储的分离

    - 分片 vs 分区

    - - 从消息系统到流数据平台

    - - 社区的状况和案例

  • 分享收益

    １.目标：

    由一个分布式消息系统演变成一个完整的流原生数据平台

    ２. 成功（或教训）要点：

    A.大量开源技术案例，弥补了其他开源消息系统的不足，保证系统企业级的多租户特性、多地域复制和强持久性保证。

    B. IO 的读写隔离、伸缩性、安全和运维成熟度优点充分体现

    3启示：

    A让优秀的数据持久性和顺序性。

    B支持 Stream （如 Kafka ）和 Queue （如 RabbitMQ ）两种消费模型， 支持 exclusive、failover 和 shared ，统一消费模型

    C让软件具备灵活的扩展性、高吞吐低延迟

热门推荐