常用组件 · 工程选型 · 集成边界

大模型常用组件

把模型应用拆成可理解的工程层：应用编排、多步任务状态机、数据与检索、模型服务、观测评测和协议集成。用于快速判断该用什么、为什么用、边界在哪里。

LangChain / LangGraph LanceDB / Lance RAG / Vector DB vLLM / LiteLLM LangSmith / Langfuse MCP

浏览组件地图选型路径

应用框架

把模型调用、提示词、检索、工具和输出结构组织成可维护的应用骨架。

LangChain

把模型调用、提示词、工具、检索器和记忆串成应用流程，适合快速搭 RAG 与工具调用原型。

Python / JS稳定

LlamaIndex

偏数据连接与索引层，适合把文档、表格和知识库组织成可检索上下文。

Python / TS稳定

Haystack

端到端搜索与生成框架，适合问答、语义检索和检索增强生成流程。

Python稳定

DSPy

把提示词组合变成可优化程序，适合有评测集的 pipeline 迭代。

Python实验

Agent 运行

处理多步任务、状态流转、分支循环、人审节点和多 Agent 协作。

LangGraph

用显式状态图承载 Agent 流程，支持分支、循环、持久化和人审节点。

Python / JS稳定

AutoGen

面向多 Agent 对话协作，适合研究型任务拆解、角色协商和工具执行。

Python稳定

CrewAI

用角色、任务和工具组织 Agent 团队，适合运营、内容和研究类自动化。

Python稳定

Semantic Kernel

微软系 Agent 编排框架，强调插件、Planner、Memory 与企业系统集成。

C# / Python / JS稳定

数据与检索

管理文本、向量、多模态样本、元数据和检索索引，是 RAG 与 Data Agent 的地基。

LanceDB / Lance

面向多模态样本的湖仓与向量数据库，适合文本、图片、向量和样本版本共管。

Python / Rust稳定

Qdrant

高性能向量数据库，支持 payload 过滤，适合需要元数据条件的检索。

Rust / Python稳定

pgvector

把向量检索放进 PostgreSQL，适合已有关系库和中小规模 RAG。

SQL稳定

Milvus

开源向量数据库，面向大规模相似度检索、推荐和图文检索场景。

Go / Python稳定

模型服务

负责推理服务、OpenAI-compatible API、路由、限流、成本控制和本地开发体验。

vLLM

高吞吐 LLM 推理服务，适合 GPU 部署、批量推理和生产吞吐优化。

Python稳定

LiteLLM

统一多模型 Provider 的网关层，处理路由、预算、Fallback 和日志。

Python稳定

Ollama

本地模型运行工具，适合开发机实验、离线 Demo 和隐私数据试跑。

本地稳定

SGLang

面向结构化生成和 Agent 场景的高性能推理运行时。

Python活跃

观测评测

把提示词、检索片段、工具调用、模型输出、人工反馈和指标记录下来。

LangSmith

记录 Trace、数据集和评测结果，适合调试 LangChain / LangGraph 应用。

SaaS稳定

Langfuse

开源模型调用可观测平台，记录提示词、Trace、成本、评分和用户反馈。

OSS / Cloud稳定

Ragas

面向 RAG 的评测工具，关注忠实度、回答质量和检索质量。

Python稳定

DeepEval

LLM 单元测试与质量门禁工具，适合把评测放进发布流程。

Python稳定

协议集成

让 Agent 安全、标准地连接外部工具、数据源、文件系统和业务 API。

MCP

用统一协议向模型客户端暴露资源、工具和提示模板，降低集成成本。

协议活跃

OpenAPI / JSON Schema

描述工具参数、结构化输出和 API 边界，减少模型调用工具时的歧义。

Schema稳定

Playwright

浏览器自动化工具，可用于 UI 测试、截图验证和网页自动化任务。

Node / Python稳定

OpenTelemetry

统一服务级 Trace、Metrics 和 Logs，适合把模型应用纳入工程观测。

规范稳定

组件选型

从任务判断组件，而不是从组件找任务

新建模型应用？

先用 LangChain + LlamaIndex 打通模型、数据和检索。

需要多步任务？

用 LangGraph 或 AutoGen 管理状态、循环和协作。

自有数据要接入？

用 LanceDB、Qdrant、pgvector 或 Milvus 建索引。

模型要部署？

按规模选择 vLLM、LiteLLM、Ollama 或 SGLang。

要上线和监控？

尽早接入 LangSmith、Langfuse、Ragas 或 DeepEval。

需要工具访问？

用 MCP、Schema 和浏览器自动化标准化系统边界。