来自红杉资本的调研报告，大语言模型的应用现状

新闻资讯 2023-07-25 12:34 93 0

“

人工智能刚刚开始渗透到技术的每一个缝隙中。

”

ChatGPT 带起来一股大模型的浪潮（LLM），基于自然语言进行交互的能力正在被各个公司引入到自家的产品当中，随之而来的是基于自然语言模型API的新的技术架构，我们通过与红杉资本投资的33家公司进行了交谈，这33家公司包括了初创企业和大企业。这篇文章正是我们的一些发现。

1. 每家红杉资本投资的公司都在将大模型集成到他们的产品中

来自于计算机行业的代码自动补全：代码（Sourcegraph、Warp、Github）、数据科学（Hex）
聊天机器人：从企业客服、员工再到普通用户的广泛使用
基于 AI 优先原则去重新构想了整个工作流程：视觉艺术 (Midjourney)、营销 (Hubspot、Attentive、Drift、Jasper、Copy、Writer)、销售 (Gong)、联络中心 (Cresta)、法律 (Ironclad、Harvey) 、会计 (Pilot)、生产力 (Notion)、数据工程 (dbt)、搜索 (Glean、Neeva)、杂货店购物 (Instacart)、消费者支付 (Klarna) 和旅行计划 (Airbnb)。

而上面的这些案例只是开始。

2. 这些应用程序新的技术架构以自然语言模型 API、检索和开发框架为中心，但开源使用也在增长。

65% 的人已经在生产中应用，这个数据高于两个月前的 50%，剩下的人仍在试验中。
94% 的人正在使用自然语言模型 API。OpenAI 的 GPT 显然是我们样本中最受欢迎的，占 91%，但 Anthropic 的兴趣在上个季度增长到 15%。（一些公司正在使用多种模型）。
88% 的人认为检索机制（例如矢量数据库）仍将是他们技术架构的关键部分。检索模型推理的相关上下文有助于提高结果质量、减少“幻觉”（不准确）并解决数据新鲜度问题。一些使用专门构建的矢量数据库（Pinecone、Weaviate、Chroma、Qdrant、Milvus 等），而另一些则使用 pgvector 或 AWS 产品。
38% 的人对像 LangChain 这样的 LLM 编排和应用程序开发框架感兴趣。有些人将其用于原型设计，而另一些人则将其用于生产环境。在过去几个月中，像 LangChain 这样的 LLM 编排和应用程序开发框架采用率有所增加。
不到 10% 的人正在寻找工具来监控 LLM 输出、成本或性能以及 A/B 测试。我们认为，随着越来越多的大公司和受监管行业采用语言模型，人们对这些领域的兴趣可能会增加。
少数公司正在研究互补的生成技术，例如结合生成文本和语音。我们也相信这是一个令人兴奋的增长领域。
15% 的人从头开始或开源构建自定义语言模型，通常除了使用 LLM API 之外。与几个月前相比，自定义模型训练显着增加。这需要它自己的计算架构、模型中心、托管、训练框架、实验跟踪以及来自 Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale 等公司的更多产品。

我们采访过的每一位从业者都表示，AI 发展太快，无法对最终状态的技术架构抱有高度信心，但大家一致认为，自然语言模型 API 仍将是一个关键支柱，其次是检索机制和开发框架，如 LangChain。开源和定制模型的训练和调优似乎也在增加。技术架构中的其他领域很重要，但成熟度不够。

3. 公司希望根据其独特的上下文（注：私有数据）定制大语言模型。

通用的大语言模型很强大，但对于许多用例来说并不足以达到需求。公司希望能够对其私有数据进行自然语言交互——他们的开发人员文档、产品清单、人力资源或 IT 规则等。在某些情况下，公司还希望根据用户的数据定制他们的模型：您的个人笔记、设计布局、数据指标或代码库。

目前，主要有三种自定义大语言模型的方法（来自于State of GPT 演讲）：

从头开始训练自定义模型，难度最高。

这是解决这个问题的经典且最难的方法。它通常需要优秀的机器学习科学家、大量相关数据、培训基础设施和计算。这是历史上许多自然语言处理创新发生在大型科技公司内部的主要原因之一。BloombergGPT 是大型科技公司之外的定制模型工作的一个很好的例子，它使用了 Hugging Face 和其他开源工具上的资源。随着开源工具的改进以及越来越多的公司利用大语言模型进行创新，我们预计会看到更多的定制和预训练模型的使用。

微调基本模型，难度中等。

这是通过使用进一步的专有或特定领域数据进行额外训练来更新预训练模型的权重。开源领域的创新也使这种方法变得越来越容易实现，但它通常仍然需要一支经验丰富的团队。一些从业者私下承认，微调比听起来要困难得多，并且可能会产生意想不到的后果，例如模型漂移和在没有警告的情况下“破坏”模型的其他技能。虽然这种方法有更大的机会变得更加普遍，但目前对于大多数公司来说仍然遥不可及。但同样，这种情况正在迅速改变。

使用预先训练的模型并检索相关上下文，难度最低。

人们常常认为他们想要一个专门为他们微调的模型，而实际上他们只是希望模型在正确的时机推理他们的信息。有很多方法可以在正确的时机为模型提供正确的信息：对 SQL 数据库进行结构化查询、搜索产品目录、调用某些外部 API 或使用嵌入检索。嵌入检索的好处是它使非结构化数据可以使用自然语言轻松搜索。从技术上讲，这是通过获取数据、将其转换为嵌入、将其存储在向量数据库中，以及当发生查询时，在这些嵌入中搜索最相关的上下文并将其提供给模型来完成的。这种方法可以帮助您破解模型的有限上下文窗口，成本较低，解决数据新鲜度问题（例如 ChatGPT 不了解 2021 年 9 月之后的世界），并且可以由未经正式机器学习培训的独立开发人员完成。矢量数据库很有用，因为在大规模情况下，它们使存储、搜索和更新嵌入变得更加容易。到目前为止，我们观察到较大的公司遵守其企业云协议并使用其云提供商的工具，而初创公司则倾向于使用专门构建的矢量数据库。

4. 如今自然语言模型 API 技术架构可能是与自定义模型训练架构分开的，但随着时间的推移，它们两个会融合在一起。

有时我们会觉得我们会有两个技术架构的故事：利用自然语言模型 API 的技术架构（更加闭源，面向开发人员）与训练自定义语言模型的技术架构（更加开源，并且历史上面向更复杂的机器学习）队）。通过 API 轻松获得大语言模型的能力是否意味着公司会减少自己的定制训练。到目前为止，我们看到的情况恰恰相反。随着人们对人工智能兴趣的增长和开源开发的加速，许多公司对训练和微调自己的模型越来越感兴趣。我们认为自然语言模型 API 和自定义模型技术将在未来逐渐融合。例如一家公司可能会基于开源模型中训练出自己的语言模型，但通过向量数据库进行检索来补充以解决数据新鲜度问题。

5. 技术架构变得越来越对开发人员友好。

自然语言模型 API 将强大的现成模型交给普通开发人员，而不仅仅是机器学习团队。现在，使用语言模型的人群已有意义地扩展到所有开发人员，我们相信我们将看到更多面向开发人员的工具。例如，LangChain通过抽象出常见问题来帮助开发人员构建大语言模型应用程序：将模型组合到更高级别的系统中，将模型的多个调用链接在一起，将模型连接到工具和数据源，构建可以操作这些工具的代理，并帮助避免通过更轻松地切换语言模型来锁定供应商。一些人在使用 LangChain 进行原型设计，而另一些人则继续在生产环境中使用它。

6. 大语言模型需要变得更加值得信赖（输出质量、数据隐私、安全性）才能得到全面采用。

在充分应用大语言模型之前，许多公司需要更好的工具来处理数据隐私、隔离、安全、版权和监控模型输出。金融科技、医疗保健等受监管行业的公司尤其需要关注这一点。他们要求软件能够发出警报，或者最好防止模型产生错误/幻觉、歧视性内容、危险内容或暴露新的安全漏洞。Robust Intelligence 一直致力于解决其中的许多挑战，其客户包括 Paypal、Expedia 等。一些公司还担心与模型共享的数据如何用于训练：例如很少有人了解 ChatGPT Consumer 数据默认用于训练，而 ChatGPT Business 和 API 数据则不是。

7. 大语言模型应用将变得越来越变成多模态。

公司已经在寻找有趣的方法来结合多种生成模型以产生巨大效果：结合文本和语音生成的聊天机器人解锁了新水平的对话体验。文本和语音模型可以结合起来，帮助您快速发现视频录制错误，而不是重新录制整个内容。模型本身正变得越来越多模态，我们可以想象未来丰富的消费者和企业人工智能应用程序结合文本、语音/音频和图像/视频生成来创建更具吸引力的用户体验并完成更复杂的任务。

8. 现在还早。

人工智能刚刚开始渗透到技术的每一个缝隙中。目前，只有 65% 的受访者使用人工智能程序是应用在生产环境中，其中许多都是相对简单的应用程序。基础设施层将在未来几年继续快速发展。如果我们看到的演示只有一半能够投入生产，那么我们将迎来一段激动人心的旅程。令人兴奋的是看到创始人从我们最早阶段的 Arc 投资到 Zoom 都专注于同一件事：用人工智能取悦用户。

来源：鸿的笔记编译自一篇红杉资本的关于大模型的综述：https://www.sequoiacap.com/article/llm-stack-perspective/，标题是《How companies are bringing AI applications to life》。