觅用 AI
自动模式按当地时间06:30至18:00使用浅色,其余时间使用深色
工具指南 / 从用途到使用

PrivateGPT

PrivateGPT 是构建私有AI应用的API层,提供消息、资料摄取、引用检索和工具接口;模型推理由另行运行的兼容服务负责。

打开官方项目
觅用 AI更新于

快速了解

主要能力
消息API、资料摄取、引用检索与工具
适用任务
为本地模型搭建文档问答或业务应用后端
使用前留意
它本身不运行模型;部分接口能力依赖推理服务

PrivateGPT 能帮你完成什么工作

下面是根据工具能力整理的操作建议,输入、交付标准和人工核对由你确定。

场景 01 · 开发内部AI应用的人

搭建私有资料问答原型

先准备
可用推理服务、嵌入模型和少量测试资料。
怎么做
编辑建议:配置模型地址后通过工作台上传资料,先检查检索引用,再把通过的流程接入应用。
得到什么
可继续开发的资料问答API原型。
使用建议
核对模型实际运行位置、引用命中和访问范围。
查看操作流程示意
PrivateGPT操作路径的原创流程示意
原创流程示意:搭建私有资料问答原型。用于说明方法,非官方界面或实测结果。AI 工具导航编辑制作;方法参考产品官方文档 ↗查看大图 ↗
场景 02 · 处理结构化信息的开发者

让程序查询表格资料

先准备
可供测试的CSV或数据库及只读问题。
怎么做
编辑建议:配置数据连接,先使用只读小样本检查字段和查询结果,再接应用界面。
得到什么
与结构化数据关联的回答。
使用建议
对照原始行列,确认连接账号没有多余写入权限。
场景 03 · 集成AI工具的开发者

为现有客户端接本地后端

先准备
客户端协议要求、推理地址与目标模型。
怎么做
编辑建议:先确认接口兼容范围,再发送基础消息,逐步测试工具和结构化输出。
得到什么
适配特定客户端的本地后端。
使用建议
不能把基础聊天通过推断成所有高级接口兼容。

PrivateGPT 是什么

当前产品以API为核心,内置/ui工作台用于测试和演示。它不等同于一个已经包含全部模型的桌面聊天软件。

构建应用时需要同时准备推理、嵌入及必要的数据存储,再按任务启用检索、数据库或MCP能力。

PrivateGPT 的主要功能

提供应用消息接口

API支持消息、流式输出、异步处理和token计数,为自己的应用提供统一的交互层。

摄取资料并返回引用

可接入文件与产物,通过带引用的检索及Agentic RAG组织文档上下文。

连接数据库和工具

提供数据库、CSV、内置工具、自定义工具和MCP连接等能力,可按应用需要组合。

使用工作台检查请求

/ui工作台可选择模型、上传文档、测试引用、启用工具并通过API Debugger观察请求和响应。

如何开始使用 PrivateGPT

  1. 启动推理和嵌入服务

    先准备实现相应兼容接口的推理服务;PrivateGPT本身不会加载并运行模型。

  2. 安装并配置API地址

    按系统选择官方安装方式,设置OPENAI_API_BASE及嵌入服务地址后启动服务。

  3. 打开工作台测试

    访问/ui,用短消息、少量文件和明确问题检查模型与引用检索。

  4. 再连接业务应用

    将通过检查的API流程接入客户端,按任务逐项开放工具、数据库或MCP。

费用与使用条件

选择前了解

使用方式
API / 命令行 / 私有部署

PrivateGPT本身不运行模型,需要独立兼容推理服务;视觉与结构化输出受模型或推理后端限制。

模型服务是前置条件

需要能提供/v1/chat/completions及/v1/models等接口的兼容服务;仅安装PrivateGPT无法完成推理。

部分能力有兼容范围

官方矩阵将结构化输出标为推理依赖、视觉标为模型依赖,Skills仅部分支持;不应假设所有端点完全等价。

企业平台能力另属Zylon

Zylon增加完整部署、治理、用户管理等企业能力;不能把这些自动算入PrivateGPT开源API层。

PrivateGPT 常见问题

PrivateGPT会自己运行模型吗?

不会。它连接已有兼容推理服务,模型运行、资源和授权由对应服务与模型决定。

可以只用内置工作台吗?

工作台可以测试、演示或进行本地试用,但核心产品是API,正式应用通常需要自己的界面与业务流程。

有文档引用能力吗?

有,文件摄取和检索支持引用,可在工作台先检查再接入自己的程序。

它包含企业单点登录与完整运维平台吗?

不能这样理解。官方区分PrivateGPT应用API层与Zylon完整企业基础设施,能力和条件分别确认。

同类工具,换一个选择

按条件筛选 ↗