
王新春
唯品会数据平台实时团队高级架构师
唯品会数据平台实时团队高级架构师,主要负责实时计算平台、实时数据清洗和实时报表等业务;在加入唯品会之前,是在美团点评(原大众点评)数据平台高级架构师;从零开始搭建实时计算平台和以及数据平台工具体系开发和建设等工作。,
-
分享简介
唯品会现在最多使用的流计算框架还是Storm,但是核心应用已经在逐步迁移到Flink上,实时/流计算在互联网公司的业务应用中越来越占用重要的地位,技术发展也在快速迭代,计算框架层出不穷。
本次分享将展示唯品会在实时计算方向上的历程、心得和实时计算中遇到的各种挑战。在大规模使用Flink做计算引擎和使用Kubernates管理计算节点的探索经验。
-
分享提纲
1. 实时计算平台现状:1700台物理机,700+应用;99.99%可用性
2. 实时平台的发展历程:早期开发SQL失败;现在平台管理、底层计算框架和开发运维统一
3. 实时计算的难点与挑战:时序、TPS和延迟如何抉择
4. 实时平台的发展方向:使用从Storm迁移到Flink的计算公司
5.实时业务指标的经验;以及使用Kubernates建设实时平台的历程和架构模式。
-
分享收益
1了解实时计算的技术发展趋势和历程、以及唯品会在实时计算平台过程中积累的宝贵经验。
2通过Storm迁移Flink节约1/3计算资源,提升稳定性。
3使用Kubernates来管理容器化的实时计算平台的最新进展。
热门推荐
-
提升领导力:OKR目标管理和激励查看主题
-
京东宙斯618大促开放平台技术架构实践查看主题
-
知识中台:基于知识图谱如何快速构建垂直领域的智能客服查看主题
-
低资源下实时语音图像翻译技术查看主题
-
算法变现经验谈查看主题
-
高性能JVM:从原理到实践深度解析查看主题
-
云原生应用的微服务与Serverless实践查看主题
-
构建企业DevOps度量体系-DevOps驱动价值的交付查看主题
-
《极致产品规划及高效用户需求洞察》--工作坊查看主题
-
项目管理的研发治理查看主题
-
云原生消息系统Apache Pulsar简介查看主题
-
自适应安全技术实践查看主题
-
超大型运维平台的面向终态设计查看主题