每年仲夏之际,全球两大数据平台巨头 Snowflake、Databricks 均会召开各自的年度大会,成为数据圈的“超级碗”。随着竞争的加剧,Snowflake、Databricks 把 2023 年度重磅市场大会放在相同日期(6.26-6.29),充满着火药味。大会召开在即,云器科技作为专注数据领域的创业公司,策划一系列文章,从主题演讲、重点发布、客户案例等方面对比和解读这两个年度大会。本文是第一篇,对两个大会做前瞻对比,并预测最值得听的场。
Snowflake 和 Databricks 的 2023 年度市场大会都是在 6 月 26 日至 29 日举行,但地点不同,前者在拉斯维加斯,后者在旧金山。为了紧扣热点更吸引眼球,两家公司的大会主题都与 AI 和大模型有关,并邀请了重量级的嘉宾,Snowflake 请到了英伟达 CEO 黄仁勋,Databricks 请到了微软 CEO 萨蒂亚·纳德拉。
布局方面,主打 Data+AI 口号的 Databricks 显然更面向 AI,也布局更早。主推的 Lakehouse 湖仓一体架构天然更支持 AI 存储和计算,之后收购了由前 Google LLC 和 Dropbox Inc. 工程师创立的 AI 存储公司 Rubicon Inc. 近期推出自己的大语言开源模型 Dolly 和 Dolly 2.0。Databricks 将 Data+AI 的口号走的很彻底。而 Snowflake 去年年度大会的最重磅发布是收购 Streamlit 并面向数据应用构建生态,直到大语言模型火爆之后,才收购了 Neeva.ai(智能搜索公司),开始其在这个领域的布局。
Snowflake 更专注于围绕数据分析的数据仓库和查询处理,而 Databricks 更专注于数据科学和机器学习,本次大会两方在努力突出他们在 Lakehouse 市场的优势和差异化。据 Enterprise Technology Research 调研,36% 的 Snowflake 客户同时也是 Databricks 的客户,客户也在同时使用获得两者最大化组合优势(从 Snowflake 获得分析的优势,从 Databricks 获得 AI 的优势)。
从会议的主题演讲看,Snowflake 会继续强调和推动 DataCloud 为核心的数据一体化和共享能力,基于 Streamlit 的一体化应用开发,以及生成式 AI 的可能性。特别值得一提的是,开源的 Iceberg 成为发布会介绍的关键字。在此,我们给出今年大会的一个合理猜测:Snowflake 会支持基于 iceberge 的开放数据架构,向湖仓一体迈进!
而反观 Databricks 的主题演讲,主线就非常明确且有持续性,重点强调三方面:LLM、Lakehouse Platform、OpenSource 软件。LLM 是今年新增的热点,也非常贴合 Data+AI 的定位。Lakehouse 经过 3 年持续推进,已经成为数据平台的新标准。OpenSource 作为老牌领域,今年新增大量的生态话题,包括一度看作竞对的 Presto/Trino 等。面对 Snowflake SaaS 化服务极致简单的竞争压力,Databricks 选择联合开源生态的力量。
两会的主题演讲都不约而同的强调生成式 AI,但如果看具体 session 组织,就会发现 AI 是噱头,真正的主线依然在高速增长的数据平台领域。(两家今年均声明 60% 的年化营收增长,在经济整体下行的今天,数据平台增长速度相当亮眼)。
Snowflake 年度发布会一共有 400 场 Session 之多,DataPlatform、DataApplication、DataAnalytics 是三个最大的主题,占据了一半的场次。ML/AI 相关的领域话题仅占 15%。考虑到 Snowflake 当前数据平台“一哥”的位置,这种“守正 + 出奇”的会议安排就不让人意外。
而 Databricks 的议题安排略显不同。DataEngineering 作为主线占据 1/4 的议题,之后是 ML/DataScience 部分,要注意这里面的 ML/DataScience 并不仅仅是生成式 AI,而是包含了大量“传统”的机器学习和算法部分(例如 SparkML)。特别的,在这些 session 的介绍中,Databricks 最重点强调的是 Lakehouse 架构对 AI 的支持,以及 Data+AI 的各种最佳实践。Databricks 自己的大语言模型 dolly 并不是重点,真正宣传 Dolly 的 session 仅有 3 个。
综合起来看,尽管生成式 AI 是话题上的亮点,两家不约而同的重点强调“自己的数据平台能力本身和可扩展性,可以容易的集成生成式 AI 在内的多种计算模型”。
结合笔者的经验和发布会的内容,笔者大胆预测如下可能的方向演进和重磅发布:
Snowflake 的重点方向和重磅发布:
方向从数仓进一步转型湖仓一体,改变封闭数仓的缺陷,发布支持基于 Iceberg 的开放数据格式。
发布内置的 AI 模型部署和推理能力,会更多的结合 LLM,通过 Snowflake 释放 LLM 大型语言模型的力量。
Data + Application 一体化,推进 Operational Analytics。
Databricks 的重点方向和重磅发布:
借生成式 AI 的东风,继续大力推进 Data+AI 的概念。同时借力对 AI 的支持,竞争 Snowflake(会有实际客户案例比较 Databricks 和 Snowflake)
全链路实时化和增量化会成为重点方向(每天 40% 的 topic 与全链路实时增量化相关)
大幅增加企业级数据平台能力的建设和宣传(包括数据质量,数据加密这些 Databricks 的传统弱项,这些 topic 占每天主题的 20%)
看过上述对比和前瞻分析,读者应该能感受到浓浓的火药味,可见两家的技术竞争已经是数据平台全面或一体化综合能力的竞争。
笔者认为,AI 大火的今天,我们更应该关注的焦点,还是应该回归到支撑 AI 的基础数据平台能力,回归到“支点”上。从两方大会的日程安排上,也可以得到充分印证。
Snowflake 大会的支点由数据仓库 + 数据安全 + 数据应用三个方向共计 400 多个 session 组成。数据仓库强相关的话题是 Snowflake 的基本盘,而数据应用主题延续了 Snowflake 在 2022 年秋季 Build 大会上通过 Streamlit 构建应用的热点,并增强了数据科学和机器学习的主题方向。
Databricks 大会的支点由 300 多个 session 构成,涵盖了数据工程,数据科学,机器学习,深度学习,自然语言处理,计算机视觉,数据分析,数据治理,数据伦理等和 ETL/ELT 数据处理、数据科学等数据湖上场景更为密切的支点型主题方向。很明显,Databricks 在泛 AI 领域对主题做了更多细分,包括机器学习、数据科学、深度学习、自然语言处理、计算机视觉。特别的一点是 Databricks 在数据伦理方面开辟了新的主题。
站在国内视角,也会激发我们思考数据平台演进的脉络。这里推荐这篇文章《从 Hadoop 到 Snowflake,2023 年数据平台路在何方?_InfoQ 精选文章》的梳理。
尽管两方大会的共同主旋律“通过 Data + 生成式 AI 重塑企业”,但笔者这里可以大胆预先总结一下两个峰会的内容套路:“生成式 AI 搭台,Data+Analytics 唱戏”。
我们会持续关注会议的进展,并同步报道最新情况,看上述预测是否准确,请大家持续关注。
七良,多云及一体化数据平台公司云器科技(yunqi.tech)联合创始人 &CPO,长期专注于数据领域市场和产品体验创新。技术交流请关注微信公众号“云器科技”。
你也「在看」吗? 👇
文章引用微信公众号"AI前线",如有侵权,请联系管理员删除!