查看原文
其他

活动报名|一线大厂都在磕的 Remote Shuffle Service

K 小助 Kyligence 2022-05-05

干货满满的 Data & AI Meetup 精彩继续,第 3 期将于12月2日 19:00-20:45 与大家在线上相见。本期我们特别邀请了来自阿里云、小米、腾讯的三位技术专家分享一线大厂研发 Remote Shuffle Service (RSS) 的动机和真实生产实践,感兴趣的同学们快扫描「文末二维码」加入活动微信群获取直播链接吧~


活动介绍

在分布式数据处理中,Shuffle 是最容易导致性能、稳定性、运维成本等问题的环节之一。Spark Pull Based 的 Shuffle 设计在一些场景下面临严重的挑战,因此无论是国外的 Facebook、Linkedin,还是国内的腾讯、阿里、小米等,都推出了 Push Based 的 RSS。最近腾讯刚开源 RSS 项目更是让我们再一次关注到了这项技术。想了解更多精彩议程,快往下看吧~


活动议程

19:00-19:10

社区动态

19:10-19:50

Talk 1:腾讯 RSS 项目 Firestorm 原理、实践与开源


演讲概要:

  • Spark Shuffle 存在的问题

  • Remote Shuffle Service 的现状

  • Firestorm 的实现及应用

  • Firestorm 的规划


讲师:马骏杰 | 腾讯大数据团队高级工程师,目前主要负责 Spark 的优化及 RSS 的研发

19:50-20:30

Talk 2:阿里云 Remote Shuffle Service 介绍及在小米的实践


演讲概要:

  • RSS 的动机和相关工作

  • RSS 的核心设计和实现

  • RSS 在小米的实践


讲师:周克勇(一锤)| 阿里云 EMR 开发工程师,负责 Spark 引擎优化


讲师:王胜杰|小米计算平台计算引擎高级开发工程师,目前主要负责小米 Spark 计算引擎开发与维护等相关工作

20:30-20:45

社区问答 Q & A


活动信息

直播时间:12 月 2 日(周四) 19:00 - 20:45

报名方式:扫描下方二维码,直接加入 Data & AI Meetup 交流群,获取直播链接~

扫描二维码即刻进群


进群前请认真阅读下方报名提示,以免错过活动:

  1. 本次活动的所有信息将通过活动微信群与您同步。

  2. 活动中参与互动,将有机会 pick 随机掉落的精美社区周边以及书籍哦~

  3. 加入活动群聊也可添加 K 小助(微信号:uncertainly5)


关于 Kyligence

Kyligence 由 Apache Kylin 创始团队创建,致力于打造下一代智能数据云平台,为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术,Kyligence 从多云的数据存储中识别和管理最有价值数据,并提供高性能、高并发的数据服务以支撑各种数据分析与应用,同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户,包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUMC、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001,ISO27001 及 SOC2 Type1 等各项认证及审计,并在全球范围内拥有众多生态合作伙伴。

点击“阅读原文”查看往期回顾

↓↓↓

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存