红杉美国发表了一篇新文章《The New Language Model Stack》。这篇文章分析了投资 Portfolio 里的 33 家小到种子轮，大到已经上市的公司，并总结出了八个关键点。每个点都结合了当前的最新趋势，并给出了对未来的预测。不仅值得一读，而且可以帮助读者更好地了解这个领域的最新进展。
原文地址：
https://www.sequoiacap.com/article/llm-stack-perspective/
65% 的公司已经将应用投入生产，94% 的公司正在使用基础模型 API，88% 的公司认为检索技术，38% 的公司对像 LangChain 这样的 LLM 编排和应用开发框架感兴趣，不到 10% 的公司正在寻找用于监控 LLM 输出、成本或性能并进行 A/B 测试提示的工具，少数公司正在研究补充性的生成技术，15% 的公司从头开始或使用开源资源构建了自定义的语言模型。
LLM API方面涉及的工具包括OpenAI, ANTHROPC, 以及Cohere等；向量数据库（Vector DBs）方面包括AWS, pgvector, 以及Pinecone等；开发框架方面包括LangChain, Llamalndex, 以及ANArCHY等；文本到语音（Text-to-speech）技术方面有Resemble.AI, ElevenLabs, 以及Wellsaid等；监控方面则包括Distyl, Guardrails, 以及Helicone等。
在自定义模型训练/调整技术栈中，有许多有用的工具。这些工具可以帮助你计算、管理模型、开发框架、进行实验、监控、以及托管模型。其中，计算方面的工具包括aws、Google Cloud和Lambda等。模型中心方面则有Azure和Feplicate等。开发框架方面则包括Hugging Face、TensorFlow等。实验方面则有Weights & Biases、GANTRY和FOUNDARY等。监控/可观察性方面包括Feplicate、Arthur和arize等。最后，托管方面则包括WHYLABS和Mosaic”Modal等。
AI总结篇：
1. 几乎所有 Sequoia 网络中的公司都在将语言模型应用于其产品中，如代码、数据科学、聊天机器人、销售、法律、会计、搜索、消费支付和旅游规划等领域。
2. 新的语言模型 API、检索和编排构成了这些应用程序的新堆栈，开源使用也在增长。94％的公司正在使用基础模型 API，OpenAI 的 GPT 是样本中明显的首选，但 Anthropic 的兴趣在过去的季度中有所增长。88％的公司认为，检索机制（如向量数据库）将仍然是其堆栈的关键部分。
3. 公司希望将语言模型定制为其独特的上下文。目前，有三种主要的方式来自定义语言模型：从头开始训练自定义模型、对基础模型进行微调和使用预训练模型并检索相关上下文。
4. 今天，LLM API 的堆栈与自定义模型训练堆栈感觉上是分开的，但随着时间的推移，这些堆栈将越来越融合。
5. 语言模型 API 正变得越来越适合开发人员使用，这将导致更多的面向开发人员的工具。
6. 语言模型需要变得更加可信（输出质量、数据隐私、安全性）才能得到全面采用。
7. 语言模型应用将变得越来越多模态化，多种生成模型将被结合使用。
8. AI 正开始渗透到技术的每一个角落，只有 65％ 的受访者正在生产中，许多应用程序相对简单。基础架构层将在未来几年内继续快速发展。
来源：https://mp.weixin.qq.com/s/ifIhUQO39lIUyUzaJx3Hfg
本文地址：https://www.163264.com/4288