Textgen 能帮你完成什么工作
下面是根据工具能力整理的操作建议，输入、交付标准和人工核对由你确定。
场景 01 · 模型爱好者比较两种本地模型的回答
- 先准备
- 相同提示词、模型与生成设置
- 怎么做
- 编辑建议：固定输入和采样设置，逐一切换模型并记录回答。
- 得到什么
- 可人工对比的模型输出
- 使用建议
- 区分回答质量和本机推理速度，不用单次回答下结论。
场景 02 · 研究与写作人员围绕一份文档提问
- 先准备
- 可解析的 PDF、docx 或文本
- 怎么做
- 编辑建议：先让模型概括结构，再问带具体章节的问题。
- 得到什么
- 文档摘要与问答草稿
- 使用建议
- 回到原文件检查数字、引用与遗漏。
场景 03 · 应用开发者为开发工具提供本地接口
- 先准备
- 模型、兼容客户端与测试请求
- 怎么做
- 编辑建议：先在 UI 确认生成正常，再开启 API 并发送小请求。
- 得到什么
- 可调用的本地模型接口
- 使用建议
- 核对接口协议、消息模板、认证和返回格式。
Textgen 软件界面
Text Generation WebUI 官方项目界面展示：聊天区域旁列出工具开关、模式和会话记录。
Textgen 是什么
原 text-generation-webui 项目现以 TextGen 名称维护。便携版本主要面向 GGUF 与 llama.cpp；需要其他加载器、训练或扩展时，应使用完整安装路线，避免把两种安装的功能视为相同。
Textgen 的主要功能
切换聊天与自由生成模式
instruct 面向指令，chat 和 chat-instruct 面向角色对话；Notebook 可自由续写。消息支持编辑、版本切换与分支，便于在同一上下文比较不同走向。
给模型附加文件或图像
可附加文本、PDF 和 docx 讨论其中内容；图像理解还需要兼容的视觉模型。上传后应检查模型实际读取到的内容，扫描件等输入不能仅凭文件扩展名判断可读。
根据模型选择加载后端
完整安装支持 llama.cpp、Transformers、ExLlamaV3 等加载器，可切换模型和后端。便携版对应 GGUF；多文件格式要按要求放入模型子目录。
提供兼容 API 与工具调用
项目提供 OpenAI、Anthropic 兼容接口及工具调用，可接入本地客户端或自定义 Python 工具。开启 API、网络监听或外部工具时，应单独配置连接与认证。
如何开始使用 Textgen
选安装路线
只用 GGUF 时可选择对应系统和硬件的便携包；需要训练、其他后端或扩展时按完整安装说明准备依赖。
放置模型
将 GGUF 放入 user_data/models；多文件模型放入独立子目录，且使用支持该格式的完整安装。
启动并选择模式
便携包启动 textgen；完整安装运行对应系统的 start 脚本。加载模型后选择 instruct、chat 或 Notebook 等工作模式。
验证并保存配置
从短提示词开始检查回答，再加入附件或启用 API。持久启动参数可以写入官方指定的 CMD_FLAGS 配置，改动前保留原配置。
费用与使用条件
选择前了解
模型格式与加载器必须对应
便携版不含全部能力
ExLlamaV3、Transformers、训练、图像生成和部分扩展需要完整安装；完整安装还会下载 PyTorch 并占用额外磁盘。
视觉与工具能力取决于模型
界面提供图片附件和工具入口，不代表所加载的每个模型都能正确理解图像或调用函数；需检查具体模型支持。
网络入口会改变访问边界
--listen 可使 Web UI 在局域网可访问；API 与管理操作有各自密钥选项。不要把仅在本机测试的配置直接当作公开服务配置。
Textgen 常见问题
Textgen 与 text-generation-webui 有什么关系？
它们是同一官方项目的现行名称与历史名称，当前仓库为 oobabooga/textgen。
便携版能加载 Transformers 模型吗？
便携版针对 GGUF；Transformers 和 EXL3 等多文件模型需要完整安装及对应加载器。
本地模型也可以作为 API 使用吗？
可以。项目提供兼容端点，启用后让客户端连接本地服务；还要检查具体接口和工具调用支持。
可以通过图片附件让所有模型识图吗？
不可以。附件入口只是传递方式，必须使用兼容的多模态模型和配置。
