
由于公司体量庞大,智能数据库的构建需面向多个不同业务部门,势必涉及大量的业务数据和文本数据。因此,智能知识库的存储架构,成为亚马逊云科技设计智能知识库时的首要考虑。亚马逊云科技认为,智能知识库的架构设计,实质上是大语言模型(LLM,Large Language Model)在知识检索领域如何得到充分利用的问题。以往要让 LLM 在特定领域发挥作用,通常依靠的方法是提示工程(Prompt Engineering),通过不断完善提问关键字,获得对大语言模型的深入理解。但提示工程在知识库这种相对具体的应用场合,效果不甚理想,对模型进行微调(Fine-tune)又可能导致成本过高。为此,亚马逊云科技决定采取检索增强生成(RAG,Retrieval Augment Generation)方式增强模型,使之具有来自存档知识源的增强上下文的模型架构。
通过深思熟虑,最终亚马逊云科技为大禹团队提供的,是一个智能知识库暨智能会话机器人的解决方案指南,其中包括预训练大语言模型,Amazon OpenSearch Service 的向量数据服务,以及相关系统集成等。该解决方案指南具备自然语言处理能力、知识库检索能力、甚至是以数据去训练大语言模型的能力,这些核心关键能力让解决方案指南能实现目标知识库约 80% 功能,西门子中国根据企业内部需求再做 20% 定制化开发,最终形成完整的解决方案。
整个解决方案指南中,最大的亮点在于“RAG 架构+向量数据库”设计:核心主体知识库以向量方式构建,能够存储超大规模的向量数据。通过对数据进行向量嵌入处理,跨部门、跨业务、跨场景的数据之间也能够进行关系考量。而 Amazon OpenSearch Service 的 k 近邻(kNN)插件为它提供了核心向量数据库功能,现在向量嵌入可以与单个混合请求中基于文本的关键字组合,查询时在几毫秒内就可获得数十亿向量的上下文相关响应。另一方面,RAG 架构极大地拓展了大模型的可用性。普通情况下当知识库新增内容时,相应的大模型必须进行微调,甚至是重新训练。而 RAG 允许对新增部分使用相同的模型处理,无需调整模型。这就相当于知识库在不影响访问速度的前提下,拥有了近乎无限的可扩展性。由向量数据库保障的杰出性能,再加上 RAG 架构提供的无限潜力,这就是智能会话机器人“小禹”能够在用户以简单语言进行提问的前提下,快速反馈生成式回答的秘密。
并且,由于亚马逊云科技提供了包括向量数据库、生成式 AI 在内的一系列核心技术,整个解决方案指南完成度高达 80%,而 Amazon OpenSearch Service 的无服务器特性,让开发人员不需要管理集群或担心生产规模,可以快速推动部署。
Amazon SageMaker 也为架构的伸缩性以及大语言模型持续迭代提供了很大帮助。借助 SageMaker Endpoint 的弹性伸缩能力,系统可以自动按照负载调整用于实时推理的资源,保证访问需求的同时提升整体性价比。Amazon SageMaker 上提供了丰富的模型开发和训练工具,保证客户可以在云端轻松实现大语言模型的调优以及测试更多不同类型的开源模型。
最终大禹团队完成后续开发和整套系统的部署时间大大缩短,整体开发与部署仅用三个月就圆满完成。团队成员表示,“在亚马逊云科技的帮助下,我们仅仅用了三个月时间就上线了生成式 AI 对话机器人‘小禹’。通过定制增强亚马逊云科技所提供的以向量数据库服务和大语言模型为基础的知识库解决方案指南,在短期内实现了快速、精准的查询和回复。”