大模型粘合剂 Langchain 初识

[winterpi]

Langchain 的定位

• 借助 LLM 这个超级工具，快速打造各种实用的应用产品；
• 可以组合成聊天机器人( chat bot)， agent 代理（有思想、能推理的助手）等；

Langchain 的功能分类

• 1. 核心功能：Model I/O: 统一整合多个 LLM 的调用接口， 辅助 prompts 生成优化等
     
     细分了 Model I/O 的3个大模块：Format(用 Prompts 封装)，Predict（采用 LLM 推理预测），Parse（解析结果输出）
• 2. Retrieval Augmented Generation，RAG：使用外部数据增强 （ 如外挂知识库）
     
• 3. Chain：链接调用LLM 及其他各种功能；
     -- In chains, a sequences of actions of hardcoded( in code).
     -- 比如采用 同步/异步方式解析 input message 等，按照指定的 sequence 指定 LLM 执行一系列操作等；
• 4. Agent 代理的管理，agent 使得 LLM 有决策的能力，确定执行哪些步骤，是否截止等；
     -- In agents, LLMl is used as a reasoning engine to determine which actions to take and in which order.
• 5. LLM 的内存管理；
• 6. log 管理，效果评价等；

Langchain 调用的两种 LLM：

• LLM（或者叫语言模型）：输入/输出都是 string；调用方式为 LLM.predict(text)；
• ChatModel（或者叫聊天模型）：输入是一系列 ChatMessage，输出是一个 message；调用方式为 LLM.predict_message(message)；
• • ChatMessage 的定义：必须包含 content，role
• • 现在有4种 role：human/user, AI/assistant, 系统 message, 功能调用 message等；

Langchain 提供的组合表达式：

• 功能支持：同步/异步、批处理、流式处理、并发、回调等方式；
• 常用的组合方式，比如：
• • Prompt + LLM：自定义 prompt template，调用 LLM 组装成一个 chatbot；
• • RAG：用 LLM 封装调用 retrieval-augmented 功能，如网络搜索、本地知识库等；
• • Query a SQL DB：执行一个 SQL 命令；
• • 写代码、使用工具等；

References

1. Langchain docs
2. Retrieval-augmented generation (RAG)