掘金 人工智能 09月12日
OpenSearch 赋能 RAG:提升大模型内容生成效果
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

文章深入探讨了OpenSearch在检索增强生成(RAG)领域的领先地位及其如何显著提升大模型的内容生成效果。通过强化检索能力和提高准确率,OpenSearch提供了从传统垂直搜索到深度搜索(DeepSearch)的升级。文章详细介绍了OpenSearch RAG的产品架构,包括离线数据链路构建(数据解析、切片、向量化)和在线检索链路(多轮对话改写、意图识别、重排模型)的优化。特别是其文档解析与切片服务、混合向量模型、以及基于BERT的重排模型,都显著提升了信息处理和检索效率。此外,文章还介绍了Agentic RAG与DeepSearch的能力,以及OpenSearch LLM智能问答版的一站式解决方案,强调其在智能客服、企业知识库、电商导购等场景的优势,如快速接入、优异效果、灵活调优和企业级能力。

💡 **搜索能力是RAG效果的关键**:文章指出,搜索能力直接决定了RAG(检索增强生成)的最终效果。通过强化检索能力、提升检索准确率,可以显著改善大模型的内容生成效果。OpenSearch在这方面拥有天然优势,并提供了从传统垂直搜索到深度搜索(DeepSearch)的演进。

🛠️ **OpenSearch RAG架构与技术优化**:OpenSearch RAG的核心架构包含离线数据链路构建(数据解析、切片、向量化)和在线检索链路(多轮对话改写、意图识别、重排模型)。其文档解析与切片服务能处理多种格式,结合语义和单句切片,实现了高准确率和召回率。混合向量模型和基于BERT的重排模型进一步提升了搜索的相关性和准确性。

🚀 **DeepSearch与Agentic RAG的引入**:文章介绍了DeepSearch能力,它允许Agent进行自主规划、多轮动态检索,适用于复杂问题和多路推理,与传统的被动响应RAG模式形成鲜明对比。DeepSearch流程框架通过问题规划Agent、搜索Agent、总结Agent等协同工作,优化了复杂和多跳问题的解决。

📦 **OpenSearch LLM智能问答版:一站式RAG解决方案**:该产品提供开箱即用的RAG方案,支持丰富数据格式导入,构建多模态对话式搜索服务。其优势包括一站式快速接入、95%以上的RAG准确率、灵活的调优方式(如自定义Prompt、模型微调)、完善的相关功能(如多模态理解、Agent等)以及便捷的企业级接入方式。

行业研究发现,搜索能力直接决定 RAG 最终效果,强化检索能力,提升检索准确率,可显著提升 LLM 大模型内容生成效果。自大模型爆发以来,RAG 领域的研究也日益增多,但大多数 RAG 方案仅将搜索引擎作为召回工具,对内容理解结合检索、排序的深入探索较少。而 OpenSearch 在 AI 搜索领域,处于国内领先站位,在检索增强方面有着天然的优势。

一、AI搜索发展趋势 

目前应用侧的发展,正从传统的垂直类搜索到深度检索进行升级。新一代应用引入更强的深度搜索(DeepSearch)能力,结合关键词、语义与向量等混合检索,实现基于已有内容的多轮深度查询,支持如详细旅游行程规划与专业研报分析等复杂需求。增强生成系统通过搜索已有知识库内容并输入大模型进行总结和生成,适用于智能客服、企业知识库和电商导购等场景。这种系统特别适用于需要复杂场景处理的应用,如 AI 员工等,展现出在专业领域的应用潜力。通过结合大模型和已有知识库,系统能够提供更加个性化和精准的服务,满足不同用户的需求。企业正在探索和应用这种能力,以提升服务质量和用户体验,特别是在需要深度信息处理和生成的领域。

从技术侧上来看,AI 搜索发展基本上也有对应的技术来进行解决。比如智能搜索,我们通常是用一些 NLP 模型和传统搜索引擎的结合,通过数据导入和模型训练找到解决方案。在 RAG 里面其实也是逐渐的迭代和演进。比如说传统的Naive RAG 和 Advanced RAG,也是前两年逐步推动的一个升级的方向,直到了最新的 DeepSearch。AI搜索的发展趋势表明,无论是从技术角度还是应用角度,都在进行持续的迭代和发展。都在向着更精准、更智能的方向迈进,持续的技术创新是推动这一进程的关键。

二、RAG基本架构及技术优化 

关于Opensearch RAG 产品架构如下图所示,总的来说核心可以分成三部分。

首先是离线的数据链路构建,从已有的企业知识库里面首先进行一些内容的解析和提取。比如将 PDF、Word、Excel 等非结构化数据转化为结构化内容,便于搜索引擎和大模型进行理解。再通过切片服务,将较长的文本转化成短的文档段落(因为大模型,是输入输出的token限制的)所以为了能让他们更好的理解,我们需要有这样的一些切分,进行向量化处理。最后使用稠密+稀疏的混合向量模型,构建搜索引擎,处理包括文本索引和向量索引在内的多种内容,以便大模型理解。

其次在线检索链路中,先是通过多轮对话改写和意图识别服务,结合用户上下文信息,利用大模型对文本进行扩展或简化,提升搜索引擎准确性,然后再采用基于大模型的重排服务,优化搜索结果的相关性排序,确保最相关文档优先展示,尽量避免文本向量化表征能力的局限性。

最后微调企业专属大模型,如通过 SFT、LORA、DPO等手段,在 RAG 场景下确保模型忠实于输入问题,避免生成虚假内容,增强模型的可靠性和准确性。

在文档解析&切片服务上,Opensearch 针对不同格式如 PDF、PPT、DOC、网页、图片、视频等,每一种格式都会有相对应系列的模型,以解析和理解复杂内容。解析后采用语义切片和单句切片混合使用,语义切片保证上下文相关的内容尽可能在一个切片内,提高理解准确性;单句切片用于提升搜索引擎召回率,通过将每个单独的句段句子进行切片,增强信息检索能力。综合两种切片方法,实现了90%的结果准确率和95%的召回率,显著提升了信息处理和检索效率。该技术方案在处理多种格式文档时,有效平衡了内容理解和信息检索的需求,展现了较高的应用价值。

在进行向量化模型的时候,同时也自研了一系列的 Opensearch 对文本加向量这样一个混合的检索模型。目前也已经参加过很多开源公开的榜单,在国内行业中可以达到顶尖的水平。

Opensearch 通用模型在多数行业可实现80%以上的准确率。同时 Opensearch 支持用户基于现有模型结合行业数据进行微调,以显著提升特定行业搜索的准确率。微调后的模型在特定行业的召回率可达到95%,大幅提升私域搜索效果。强调通过微调技术,即使有限的数据也能大幅优化模型在特定领域的表现。这一种灵活的解决方案,使用户能够根据自身行业需求定制模型,以达到更佳的搜索准确率。

在重排模型上,OpenSearch 基于 BERT 模型也进行了专门的训练,召回率有20%提升,比 bm25、向量模型更强的语义理解能力,保障更优的文本相关性。

三、DeepSearch能力介绍 

在 Agent 的能力上来说,其实是分为多种的 Agent。从能力上来说主要包含这个方面。首先是记忆上,记忆会包含一个短期的记忆和长期的记忆。然后因为 Agent 可能会有不同的上下文,所以还需要有规划能力,这里会包含像反思、思维链路以及对任务的分解。此外还有一些工具类的 Agent,比如说像知识库的检索、联网的搜索,以及专门对接企业的 API。最终,通过一个总规划的 Agent,使这些工具 Agent 按照编排好的链路来行动。

Agentic RAG 与传统 RAG 的有显著差异,Agentic RAG 采取主动代理模式,而传统 RAG 则为被动响应模式。Agentic RAG 基于自主规划的 Agent,能够进行快速判断,适用于解决复杂问题和多路推理。Agentic RAG 的检索流程包含多次动态检索,这使其在处理复杂任务时更具优势。与被动响应的传统 RAG 相比,Agentic RAG 的主动代理模式能更有效地应对需要自主规划和判断的场景,并且 Agentic RAG 的设计特别适合需要多步推理和动态调整策略的复杂问题解决过程。

下图是OpenSearch整体的一个 DeepSearch流程框架。

首先用户问题来之后,问题规划 Agent 根据用户问题选择下一步行动,可能包括搜索、总结、问题澄清或直接进入技术大模型进行闲聊式回答。问题澄清后,若需补充信息,则会返回问题规划 Agent ,确保信息完整;调用搜索 Agent 时,将会整合多源数据,提升信息全面性。通过文本向量、联网搜索、图检索等服务,搜索 Agent 返回相关信息,由总结 Agent 进行总结和生成,增强答案的准确性和丰富性。

然后引入答案评测验证,确保模型回答符合用户预期,不符时返回问题规划 Agent ,进行多轮搜索,提升问题解决质量。DeepSearch 的设计框架能更有效解决复杂和多跳问题,优化用户体验。

四、产品介绍

OpenSearch LLM 智能问答版内置非结构化数据处理、向量模型、文本&向量检索、LLM,可以提供一站式开箱即用的检索增强生成(RAG)方案,支持丰富数据格式的快速导入,构建包含对话、链接、图片在内的多模态对话式搜索服务,帮助开发者快速搭建RAG系统。以下是 OpenSearch-LLM相关介绍。

主要应用场景

智能客服

企业知识库

电商导购

表格问答

产品优势

一站式快速接入

更优 RAG 效果

灵活调优方式

完善的相关功能

便捷的接入方式

企业级能力完善

五、结尾

OpenSearch 以业内领先的 AI 搜索能力为基础,在混合检索、重排、Agentic RAG 与 DeepSearch 等关键环节形成体系化优势,既能兼顾多模态与多源数据的摄取处理,又能通过评测与微调实现面向行业的持续优化,可以提供给开发者更智能、优质的问答搜索服务。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

OpenSearch RAG LLM AI搜索 深度搜索 Agentic RAG DeepSearch 内容生成 检索增强生成
相关文章