AIGC领域最大收购：Databricks花费13亿美元买下只有15名研发的小公司！

新闻资讯 2023-07-02 13:34 62 0

编译 | 核子可乐、Tina

智能湖仓开发商 Databricks 正着手以 13 亿美元收购生成式 AI 初创公司 MosaicML，希望帮助自家客户在数据之上构建和部署 AI 模型。值得注意的是，Databricks 本身也是一家初创公司，成立于 2013 年，通过多轮融资筹得 36 亿美元。此次的收购成本当中，包含挽留 MosaicML 员工的相应支出。

大语言模型（LLM）正在 AI 领域掀起新一波浪潮，它能够理解查询、分析多个数据源并用自然语言给出回应和答案，甚至能够输出编程语言。当然，这些模型也可能产生错误或虚构的答案，而且需要大量 GPU 资源才能运行。MosaicML 的主要业务就是帮助客户在小规模系统上运行模型，并使用自己的数据和非公开数据对模型进行训练和微调。

Databricks 公司 CEO Ali Ghodsi 表示，“每个组织都应该从 AI 革命当中受益，并更好地控制数据的使用方式。”

今年 4 月，Databricks 公布了其更新之后的开源 Dolly 大语言模型，标志着公司的 AI 设施已可用于商业应用，且无需大量 GPU 资源或者昂贵的 API。这款聊天机器人能够响应客户查询，根据 Databricks 智能湖仓内的数据给出答案。

MosaicML 的来历

MosaicML 则创立于 2021 年，联合创始人分别为担任 CEO 的 Naveen Rao（前英特尔副总裁兼 AI 产品事业部总经理）和 CTO Hanling Tang（前英特尔 AI 实验室高级总监），员工仅 62 人，其中研究人员（researchers）约为 15 名，“与 Brain 或 Deep Mind 的庞大研究人员队伍相比，我们规模很小”。

MosaicML 公司目前只公开披露过一轮融资，为 6400 万美元，其开源大语言模型基于 MPT-7B 架构，即拥有 70 亿参数且上下文窗口为 6.4 万 token。

Naveen Rao 与 Hanlin Tang

MPT-7B 和最近发布的 MPT-30B 目前下载量已经超过 330 万次。MPT-30B 要比 MPT-7B 更加强大，且性能已经超越初版 GPT-3。MosaicML 表示，MPT-30B 的大小是精心选择的结果，能够轻松部署在单个 GPU 上——可以在 16 位精度对应 1 块 A100-80 GB，也可以在 8 位精度对应 1 块 A100-40 GB。MosaicML 公司指出，其他类似的大语言模型（例如 Falcon-40B）往往拥有更多参数，因此无法在单个数据中心 GPU 上提供服务。而一旦需要的 GPU 超过 2 个，就会增加推理系统的最低实现成本。

MosaicML 还特别提到 MPT-30B 在编程方面表现优异，“这归功于包括大量代码的预训练数据。我们希望这种文本和编程功能的结合使 MPT-30B 模型成为社区的流行选择。”

MosaicML 是一家美国公司，在旧金山、纽约、帕洛阿尔托和圣迭戈设有办事处。其客户则包括 AI2（艾伦 AI 研究所）、Generally Intelligence、Hippocratic AI、Replit 和 Scatter Labs。Databricks 表示，MosaicML 的技术将为客户提供一种简单快速的方式，能够在保留对自身数据的控制、安全保护和所有权的前提下，享受到成本低廉的语言模型服务。

与标准方案相比，MosaicML 的优化成果将模型训练速度提升了 2 到 7 倍，而且能够线性扩展。该公司声称，其数十亿参数的模型在几小时内即可完成训练，远低于一般模型长达数天的训练周期。

Naveen Rao 解释道，“我们之所以创办 MosaicML，就是希望解决困难的工程和研究问题，帮助每个人更轻松地进行大规模训练。随着近期掀起的生成式 AI 浪潮，这项工作也成为关注的焦点。我们将与 Databricks 一道，推动天平向着更有利于大多数人的方向倾斜——我们是志同道合的伙伴，同样肩负让研究人员转型为企业家的使命。”

收购意欲何为?

根据 Naveen Rao 的说法，MosaicML 一直致力于降低生成式 AI 的使用成本，从数千万美元降至数十万美元。

生物制药服务公司 Syneos Health 的首席信息和数字官 Larry Pickett 表示，目前根据专业健康数据训练模型的成本估计为 100 万至 200 万美元。分析师表示，这类“特定领域”模型对公司来说可能比 ChatGPT 更有用，因为它们拥有更多的行业术语和专业知识。但 Pickett 预计，Syneos Health 通过使用较小的预训练模型，“而不是在 OpenAI 拥有的整个数据集之上构建”，花费会大大减少。他说，其中一些模型已经在开源库中可用，例如机器学习初创公司 Hugging Face 提供的库。

“并不是每个人、每个应用程序都需要 GPT-4，”Krishna 说，他指的是 OpenAI 的大型语言模型。他说，大型语言模型正在针对非常具体的应用进行微调，“到那时，它就会变得非常小，可以嵌入到任何手机中。”

但 Databricks 收购 MosaicML 的目的却仍然让很多人感到迷惑，Hacker News 上不少网友一致认为 Databricks 是在炒作，表示不明白 Databricks 要将 LLM 整合来做什么。

虽然现在 Databricks 称公司的主要技术方向为 Lakehouse，但实际上它是由 Apache Spark 创建者创立，因此有人认为其护城河和核心价值主张是云中的 Apache Spark，主要是用 Spark 来处理大规模集群上的数据，其中包括机器学习训练和推理管道，在这种情况下，Databricks 整合 LLM 的价值主张是不够明确的。甚至还有人认为，Databricks 不过是在借当前大模型热度进行炒作，MosaicML 迟早会被注销掉。