掘金 人工智能 前天 08:08
LangChain:连接大模型与外部世界的桥梁
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文深入浅出地介绍了LangChain这一强大的Python开源框架,它旨在简化基于大型语言模型(LLM)的应用开发。文章详细阐述了LangChain的诞生背景、核心理念,以及为何需要它来弥补LLM在信息时效性、工具调用和记忆能力方面的不足。通过拆解LangChain的技术体系,包括核心库、语言模型集成、向量存储、工具集成及辅助库,文章清晰地展示了其模块化和可组合的设计。此外,文章还重点讲解了Chain、Memory、Agent与工具调用、RAG检索等关键技术,为开发者构建更智能、更强大的AI应用提供了宝贵的指导。

💡 **LangChain的核心价值在于其模块化和可组合性**:作为一个开源框架,LangChain通过将大型语言模型(LLM)与外部数据和各种组件连接成“链”(Chain),极大地简化了AI应用的开发流程。它提供了如`langchain-core`、`langchain`和`langchain-community`等核心库,以及丰富的语言模型、向量存储和工具集成,使得开发者能够高效地构建复杂的AI系统,从而弥补了LLM在信息时效性、外部工具调用和长记忆方面的固有局限性。

🔧 **LangChain通过多种机制增强LLM的能力**:为了解决LLM信息过时、无法调用外部工具和记忆有限的问题,LangChain提供了解决方案。例如,利用嵌入模型或RAG(检索增强生成)来弥补信息时效性;通过Agent机制,让LLM能够调用外部工具(如搜索API、计算器)执行具体操作,如同赋予了LLM“手脚”;而Memory模块则允许LLM在对话中保持上下文记忆,提升交互的连贯性,即使面对长对话也能通过摘要和压缩技术有效管理。

📚 **LangChain的技术体系提供了全面的开发工具**:LangChain的技术体系涵盖了从核心抽象到具体集成的各个层面。`langchain-core`定义了基础接口,`langchain`提供了LLMs、Chat Models、Memory、Chains和Agents等核心功能,`langchain-community`则集成了大量第三方工具和向量存储。此外,还有针对OpenAI、Hugging Face等模型的集成库,以及Chroma、Pinecone等向量数据库的接口。Langsmith和Langserve等辅助库则分别用于调试监控和API部署,共同构建了一个强大而灵活的AI开发生态。

大家好,我是你们的扯蛋蛋,已经很久没有写文章了,最近在看到网上有蛮多的学习langchain的视频,我看到也是比较吸引和好奇的大模型,为什么能够调用那么多的工具和那么好呢,它本身就是对话式的文本模型,为什么会这么会用这么精彩呢,在这个的好奇心下我也开始我的大模型之旅啦

什么是 LangChain

LangChain 是一个基于 python 语言的模块化、可组合、面向开发者的开源框架,旨在简化基于大型语言模型的应用程序开发。它由 Harrison Chase 于 2022 年 10 月发起,迅速成为 GitHub 上增长最快的开源项目之一。

顾名思义,LangChain中的“Lang”是指language,即⼤语⾔模型,“Chain”即“链”,也就是将⼤模型与外部数据&各种组件连接成链,以此构建AI应⽤程序。 LangChain中文网 - 跟着LangChain学AI开发

为什么需要LangChain

当ChatGPT、QwenLM、DeepSeek等大语言模型(LLM)横空出世时,开发者们立刻意识到:LLM不是终点,而是构建智能应用的“大脑”。但要让这个“大脑”真正解决实际问题,还需要解决三个关键痛点:

信息过时

LLM的知识截止于训练数据的时间节点(如GPT-4的训练数据截止到2023年),无法回答诸如“2024年最新AI论文内容”或“今天纽约股市收盘价”这样的问题。但是这个我们可以怎么去弥补这个不足呢,我们可以用到嵌入模型,或者是RGA,这俩个东西,我目前还在学习当中。

无法调用外部工具

LLM虽然是自然语言大模型,但是不能去执行外部操作,比如调用API、计算数值、查询数据库、发送邮件等。它就像一个只会思考的“脑壳”,没有“手脚”。 但是这个的现在也有解决的方法,MPC协议,这个也是去年大家统一的一个协议,有时间我也会总结一下写一篇文章,MCP 中文站(Model Context Protocol 中文) (mcpcn.com)

记忆有限

LLM的上下文窗口(例如GPT-4最多支持32,768个tokens)限制了它处理长文本的能力,难以记住对话历史或文档细节。但是这个的也有解决的方法也是通过RAG来解决

LangChain技术体系

LangChain技术体系主要包括以下模块:

核心库

langchain-core

langchain

langchain-community

语言模型集成库

LangChain 支持与多种语言模型和嵌入模型的集成,这些集成通常以单独的子包形式提供,需单独安装。以下是常见的模型集成库:

langchain-openai

langchain-huggingface

其他模型集成

向量存储和检索库

LangChain 支持多种向量数据库,用于存储和检索文本的向量表示。这些库通常在 langchain-community 中,或以独立包形式提供。

langchain-chroma

langchain-pinecone

langchain-faiss

其他向量存储

工具和外部服务集成

LangChain 提供了大量工具库,用于与外部服务交互。这些工具通常在 langchain-community 中,或者需要单独安装。

langchain-serpapi

langchain-wikipedia

其他工具

辅助库

LangChain 生态还包括一些辅助库,用于调试、部署和增强功能。

langsmith

langserve

langgraph

文档加载和处理库

LangChain 提供多种文档加载器和文本处理工具,通常在 langchain-community 中。

文档加载器

文本分割器

LangChain核心模块

LLM 大模型接口

LangChain 封装了不同模型的调用方式,它统一了各种模型的接口,切换不同模型变得轻松。

PromptTemplate提示词模板

大模型的输出质量在很大程度上取决于提示词(Prompt)的设计,在LangChain 把提示词封装成模板,支持变量动态替换,管理起来更清晰,能灵活控制 Prompt 内容,避免硬编码。

Chain链

Chain链是 LangChain 的核心思想之一,一个 Chain 就是将多个模块串起来完成一系列操作,Chain链可以将上一步操作的结果交给下一步进行执行,比如用提示词模板生成 Prompt,将渲染后的提示词交给大模型生成回答,再将大模型的回答将结果输出到控制台,Chain和Linux中的管道符十分类似,每一步的输出自动作为下一步输入,实现模块串联。

Memory记忆

在和大模型对话时,大模型本身并不具备有记忆历史对话的功能,但是在使用ChatGPT、DeepSeek等大模型时,发现它们在同一个会话内有“上下文记忆”的能力,这样能使对话更加连贯。

LangChain 也提供了类似的记忆功能。通过 memory,可以把用户的历史对话保存下来,使大模型拥有历史记忆的能力,如下示例,每一轮对话会从ConversationSummaryBufferMemory中读取历史对话,渲染到Prompt供大模型使用。

对话结束之后,会将对话内容保存到ConversationSummaryBufferMemory,如果历史记忆超过一定大小,为了节省和大模型之间调用的token消耗,会对历史记忆进行摘要提取、压缩之后再保存,这样大模型拥有了记忆功能。

MCP 与工具调用

大语言模型本身是一种基于大量数据训练而成的人工智能,它本身是基于大量的数据为基础对结果进行预测,因此,大模型可能会出现给出1+1=3这种情况,大模型本身是不会“上网”, 也不会算数的,因此,可以给大模型接入各种各样的工具如Google搜索、高德地图定位信息查询、图像生成等等。

那么大模型是怎么使用工具的呢?在现如今,很多的大模型都支持了工具调用,也就是将可用的工具信息列表在调用大模型时传递过去,这些信息包括工具的用途、参数说明等等,大模型会根据这些工具的作用确定调用哪些工具,并且根据参数的描述,来返回调用工具的参数。

最终将工具调用结果返回给大模型,完成用户交给的任务,整个过程中,大模型会根据任务判断是否调用工具,并组织执行,这个自动决策执行的过程,就是由 agent 完成的。

agent 会自己思考、分步骤执行,非常适合复杂任务处理,后续我们也会深入介绍如何通过 LangChain 创建一个完整的 agent,自动协调多个工具完成复杂任务。

对于那些不支持工具调用的大模型,也可以根据提示词将可选的工具和调用方法传递给大模型,但是大模型的预测有很强的不确定性,返回结果的准确率会显著下降。

RAG检索

在一些LLM的使用场景,需要使用一些特定的文档让LLM根据这些文档的内容进行回复,而这些特定的文档通常不在LLM的训练数据中,此时RAG检索就有用武之地。

在LangChain中,可以读取文档作为大模型的知识库,来进行增强搜索,LangChain封装各种类型的文档读取器,可以将读取文档得到的数据,通过LangChain文档分割器对文档进行分割,通过文本嵌入模型对文本进行向量化,将文本的向量信息保存到向量数据库。

当用户向AI发起提问时,在向量数据库中检索出与提问相关的文档,然后与用户问题一起发送给大模型,这个过程就叫做RAG(检索增强生成,Retrieval-Augmented Generation),RAG 能让大模型回答特定领域的问答变得更加精准、实时,避免出现幻觉。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

LangChain 大型语言模型 AI开发 LLM Python 框架 工具调用 RAG Agent Chain Memory
相关文章