Flink 社区风波:比 Flink 快十倍的技术真存在吗?

新闻资讯   2023-07-30 10:17   90   0  

作者 | Tina  

近期,创业公司 RisingWave Labs 发布了开源分布式流处理 SQL 数据库 RisingWave 的 1.0 版本,并同时发布了该数据库的性能报告预览版,宣称他们已经取得了相比于 Flink 十倍的性能提升。

RisingWave 声称在简单无状态计算中比 Flink 实现性能提升 10-30%,在复杂有状态计算中比 Flink 实现性能提升 10-100 倍。其实现巨大性能提升的原因是:抛弃了 JVM 语言,使用了 Rust 高性能编程语言;抛弃了类似 MapReduce 式的中间抽象层,直接对数据库算子进行深度优化;存储感知计算,使用更好的存储结构便于计算加速。

上周,阿里 Flink 团队部分成员发表文章质疑了该性能评测报告,认为 RisingWave 的评测报告非常具有误导性。阿里 Flink 团队成员也自己进行了一次性能测试,在更正了 Flink 参数设置的条件下,得出结果为:“RisingWave 有两成的 query 无法支持,在性能上 Flink 全面大幅领先 RisingWave,整体性能快 60%,部分 stateful query 有 20 倍的性能优势。”也就是说,RisingWave 没有达到比 Flink 快 10 倍的性能提升,他们认为该公司的行为涉嫌“虚假营销”。

今天,RisingWave 指出,两份报告的结果差异是由环境差异造成:在 Flink 团队成员的测试环境中,“Flink 使用了三倍于我们测试环境的 CPU,六倍于我们测试环境的内存。同时我们的测试中,我们为 Flink 配置了 EBS,他们使用了性能更高的 local NVMe,而 RisingWave 在这个测试中不依赖文件系统。”

那业界到底存在不存在比 Flink 快 10 倍的技术?RisingWave 创始人吴英骏 指出,其实早在 3 年前,Flink 的原创团队 TU Berlin 数据库组便抛弃 Flink 从头开发了新一代流处理引擎 NebulaStream,并实现了 10-100 倍的提升(论文:https://nebula.stream/paper/zeuch_cidr20.pdf)。

参考链接:

https://zhuanlan.zhihu.com/p/641373616

https://zhuanlan.zhihu.com/p/645033103

https://zhuanlan.zhihu.com/p/639610648

https://zhuanlan.zhihu.com/p/645004445?utm_medium

点击底部阅读原文访问 InfoQ 官网,获取更多精彩内容!

今日好文推荐

C# 和 TypeScript 之父亲自带队开源 TypeChat,又一 AI 技术瓶颈被攻破?

终于找到 ChatGPT “智商”下降的原因了!OpenAI 侧面回应,GPT 可能真被你们玩坏了?

微信取消秋招;谷歌软件工程师基本年薪超 500 万;通报批评员工到点下班?比亚迪回应 | Q资讯

十年磨砺,持续闯入“无人区”,这家公司如何做好金融科技?

文章引用微信公众号"InfoQ",如有侵权,请联系管理员删除!

博客评论
还没有人评论,赶紧抢个沙发~
发表评论
说明:请文明发言,共建和谐网络,您的个人信息不会被公开显示。