通过向量嵌入来增强大型语言模型，以提高特定于域的响应能力

摘要

在该协议中，通过向量嵌入机制增强同行评审的、特定领域的科学文章，从而提高了基础大型语言模型的响应质量。此外，还提供了代码来帮助在大型语言模型之间进行性能比较。

摘要

大型语言模型 （LLM） 已成为生成与用户查询相关的信息的常用资源。此类模型是通过资源密集型训练过程创建的，该过程利用广泛的静态文本数据语料库。这种静态特性导致在知识、专有信息和敏感数据快速变化的领域中采用受到限制。在这项工作中，概述了使用基于嵌入的方法为特定领域的信息增强通用 LLM（称为基础模型）的方法，以整合最新的、经过同行评审的科学手稿。这是通过 Llama-Index 等开源工具和 Llama-2 等公开可用的模型实现的，以最大限度地提高透明度、用户隐私和控制力以及可复制性。虽然科学手稿用作示例用例，但这种方法可以扩展到任何文本数据源。此外，还讨论了在此增强功能之后评估模型性能的方法。 这些方法能够为高度专业化的领域快速开发 LLM 系统，而不管训练语料库中信息的全面性如何。

引言

OpenAI 的 ChatGPT 或 Meta AI 的 Llama 等大型语言模型 （LLM） 已迅速成为生成与用户提示相关的文本的流行资源。这些模型最初用于预测序列中的下一个词汇项目，现在已经发展到理解上下文、编码临床信息并在各种任务上表现出高性能 1,2,3,4。尽管语言模型比这些功能及其目前的流行程度早了几十年⁵，但深度学习和计算功能的最新进展使用户可以通过基于 Web 的技术和应用程序接口 （^{API） 6} 广泛使用预训练的高质量商业 LLM。但是，以这种格式使用 LLM 有几个明显的限制。

挑战 1：静态训练语料
LLM 在大量（例如，在 Llama 2⁷ 的情况下为 2 万亿个标记）但静态的文本数据主体上进行训练。这为生成与正在快速发展或不断变化的文献相关的准确响应带来了挑战。在这种静态方法中，LLM 需要经常重新训练以跟上最新数据，这既不实用也不可扩展。此外，需....

研究方案

在本文中演示的使用案例中，向量存储是使用芝加哥共识第¹⁷ 工作组发布的指南生成的。该专家组的成立是为了制定腹膜癌管理指南。选择该主题领域是因为它属于研究者的临床专业领域。这组论文是从在线期刊存储库访问的，包括 Cancer 和 Annals of Surgical Oncology。由北京人工智能研究院 （BAAI， https://www.baai.ac.cn/english.html） 创建的紧凑（33.4M 参数）嵌入模型 bge-small-en 用于从源文档生成嵌入。然后将生成的数据库用于增强 Llama 2 和 Open-AI 基础模型⁷。为方便读者，代码可通过 GitHub （https://github.com/AnaiLab/AugmentedLLM） 获得。为确保可复制性，建议使用提供的需求列表中使用的相同版本的库以及相同版本的 Python。有关以下方法中使用的工具的安装或文档的更多详细信息，请访问 Python （https://www.python.org）、git （https://git-scm.com）、Llama-Index （https://llamaindex.ai） 和 Chroma （https://trychroma.com） 提供商的官方网站。

1. 先决条....

讨论

这里提供的方法旨在促进 LLM 的特定领域应用的研究，而无需从头开始培训或进行广泛的微调。随着 LLM 成为重要研究兴趣的领域，增强知识库和提高响应准确性的方法将变得越来越重要 18,19,20,21。如提供的结果所示，与没有增强的相同 LLM 相比，概述的协议在特定领域.......

材料

Name	Company	Catalog Number	Comments
pip3 version 22.0.2
Python version 3.10.12