-
分布式关系型数据在支付领域中的应用2017年6月24日
大数据时代已经到来,在大数据蓝海中依旧存在这样一个细分市场,保留给关系型数据库,并且传统企业和新兴行业都对其青睐有加。本着事务存在即合理的原则,关系型数据库必当会有长足的发展。关系型数据库种类繁多,社区热度排名top3也都存在各自的优势和不足,PostgreSQL作为关系型数据库的经典代表,再次回归工业的视野,并得到越来越多的关注。
随着海量数据时代效应,关系型数据库的体量也在增加,并且单机关系数据库在某些场景已经不能满足高速发展的业务需要,分布式关系型数据库随之孕育而生。
分布式关系型数据库产生面临诸多挑战:
1. 原有ACID特性的保障
2. 数百倍单机数据量的管理
3. 资源的利用率如何保障
4. 分布式场景复杂的运维
所以分布式数据库不是简单的将单一节点组合起来,如果将单机PostgreSQL比作一头强悍的大象,那么分布式关系型数据库就是一群大象,如何让这群大象有组织的协作完成单一的需求,需要训练有素的驯兽师和行之有效的管理技巧。本次分享给大家带来讲师在经历传统领域和互联网公司后,基于对于业务和产品使用需求的差异的体会,整理总结出来的经验。
-
分布式newsql数据库2017年6月24日分布式关系数据库长久以来缺乏一个可扩展的方案是目前很多公司面临过的典型问题,然而业务的发展不能停下来,所以大家造了一个中间件方案,这些方案普遍存在架构的缺陷导致用户在使用的时候不能不想尽各种办法绕过,比如中间件方案不支持多个纬度的索引,而让开发人员去多存除一份,进而带来了多份数据的一致性问题。中间件不支持子查询,开发者需要自己是实现子查询和各种join,最痛苦的是不支持分布式事务,一致性读等,这些问题严重的影响了开发者的效率,增加了 Time to market 的时间。幸好,Google Spanner/F1, TiDB 等NewSQL的出现解决了各种传统方案的不足,彻底解决了分布式关系数据库 scale, 一致性,多数据中心同步,大数据分析(OLAP)等问题。
-
云上数据库实践和发展趋势2017年6月24日阐述云数据库在大数据时代和软硬件高速发展时期下面临的挑战和发展趋势,以及阿里云数据库在贴近用户的需求下做出的取舍和实践。
-
国内顶级开源数据仓库实践:Kyligence&HashData2017年6月25日
一 揭秘Apache Kylin :Hadoop上的数据仓库
随着大数据领域开源工具的不断发展,越来越多的企业将数据平台搭建到Hadoop、Hive、Spark等。Apache Kylin作为Hadoop上的新型数据仓库。它在大数据上提供标准的SQL接口,能够提供亚秒级的查询速度和超大规模的并发性能。大数据直接对接在线应用重新成为可能,交互式的BI极大解放大数据生产能力。其中:
Apache Kylin背后的技术原理为何?
企业如何根据自身情况使用开源软件Apache Kylin?
在最新的Apache Kylin版本中灵活查询(Ad-hoc Query)又是如何实现的?
实际操作中,如何让Apache Kylin替代传统的Hive和SparkSQL?
揭秘全球100多家公司是如何部署Apache Kylin?
本次演讲理论结合实际案例,娓娓道来其背后的演变历史和设计考量。
二 :云端数据仓库HashData的设计与实现
随着信息技术的迅速发展,各行各业正产生和积累爆炸式增长的数据。如何通过分析这些规模和复杂度不断增长的数据、挖掘数据的价值来为公司提供商业决策支持,正成为困扰企业高管的一大难题。尽管近年来大数据相关的工具和产品不断涌现
企业利用数据仓库进行大数据分析的门槛依然很高,具体体现在以下几方面:
(1)除了以生成报表为代表的传统应用场景,越来越多的企业开始将数据分析作为服务提供给它的员工、客户和合作伙伴,同时在线的用户将达到数百上千的级别。传统MPP架构的数据仓库无法支撑如此高的并发数量。
(2)除了传统来自业务系统的结构化数据外,企业数据中心收集和保存了越来越多像地理信息、传感器数据、服务器日志等半结构化和非结构化数据。传统关系型数据库处理这类数据显得越来越力不从心。
(3)随着数据量的增多,为了在可接受的时间内完成数据分析,要求数据仓库集群规模不断增大;而传统MPP架构的数据仓库,相对于Hadoop技术来说,恰恰在扩展性上存在很大的局限性。
(4)传统数据仓库在系统升级、扩缩容的时候需要停止服务或者进入只读模式,而且时间窗口比较长,严重影响正常的业务。
分析完传统数据仓库面临的技术问题后,我们将重点介绍云端数据仓库是如何解决这些问题的:围绕着对象存储和抽象服务构建,通过将管理(元数据)、计算和存储(对象存储)三者分离的创新架构,提供传统解决方案无法媲美的高并发、可扩展、弹性和易用性,包括在线升级(正常的查询完全不受影响)、秒级扩缩容、支持的并发数随集群规模线性增长、几乎无限的计算和存储能力等。
-
腾讯金融数据库TDSQL的过去与未来2017年6月25日今年分布式数据库火热,那么要在生产环境中投产使用,跟传统的商业关系型数据库产品相比,这些新型的数据库产品面临了哪些挑战?它们又是如何解决的呢?本课程结合腾讯计费支付场景的数据库技术发展之路,跟大家一起探讨一下相关问题。
-
分布式缓存数据库codis2017年6月25日Codis 作为一个开源的分布式 Redis 集群解决方案(5,500+ Stars on GitHub)。与一般封装 Redis Cluster 的解决方案有所不同,能够在几分钟内完成几十 GB 数据的平滑迁移。
Codis 采用有中心的架构,组建件通过状态机维护路由信息和同步状态,因此稳定性和可维护性更高。于此同时,Codis 还实现了诸如服务发现、快速水平扩展,并提供多种主从、跨机房访问策略、多 DB 支持等特性。特别是新引入的异步迁移以及并行迁移,能够在几分钟内完成几十 GB 数据的平滑迁移。本次分享的主要议题:
1. Redis Cluster 中的问题
2. 不同解决方案的比较
Codis 解决分布式缓存中的哪些问题
1. 从使用角度:功能、特性以及成功案例分享
2. 从架构角度:Codis 的设计和实践经验
3. 从工程角度:Go 与 GC,Codis 的优化经验
4. Codis + RocksDB 构建大容量、高吞吐分布式 KV 的设计与实践