text-generation-webui 笔记_text-generation-webui 参数

旗帜

描述

-h

,

--help

显示此帮助消息并退出。

--notebook

在笔记本模式下启动 Web UI，其中输出将写入与输入相同的文本框。

--chat

以聊天模式启动 Web UI。

--multi-user

多用户模式。

聊天历史记录不会保存或自动加载。

警告：这是高度实验性的。

--character CHARACTER

默认情况下在聊天模式下加载的角色名称。

--model MODEL

默认加载的模型的名称。

--lora LORA [LORA ...]

要加载的 LoRA 列表。

如果要加载多个 LoRA，请以空格分隔名称。

--model-dir MODEL_DIR

包含所有模型的目录路径。

--lora-dir LORA_DIR

包含所有 loras 的目录路径。

--model-menu

首次启动 Web UI 时在终端中显示模型菜单。

--no-stream

不要实时流式传输文本输出。

--settings SETTINGS_FILE

从此 yaml 文件加载默认接口设置。

请

settings-template.yaml

参阅示例。

如果您创建一个名为 的文件

settings.yaml

，则默认情况下将加载该文件，而无需使用该

--settings

标志。

--extensions EXTENSIONS [EXTENSIONS ...]

要加载的扩展列表。

如果要加载多个扩展，请用空格分隔名称。

--verbose

将提示打印到终端。

--listen

使 Web UI 可从您的本地网络访问。

--listen-host LISTEN_HOST

服务器将使用的主机名。

--listen-port LISTEN_PORT

服务器将使用的侦听端口。

--share

创建公共 URL。

这对于在 Google Colab 或类似平台上运行 Web UI 非常有用。

--auto-launch

启动后在默认浏览器中打开 Web UI。

--gradio-auth USER:PWD

设置 gradio 身份验证，例如“用户名：密码”；

或逗号分隔多个，如“u1:p1,u2:p2,u3:p3”

--gradio-auth-path GRADIO_AUTH_PATH

设置gradio认证文件路径。

该文件应包含一个或多个用户：密码对，格式如下：“u1:p1,u2:p2,u3:p3”

--api

启用 API 扩展。

--public-api

使用 Cloudfare 为 API 创建公共 URL。

--api-blocking-port BLOCKING_PORT

阻塞 API 的监听端口。

--api-streaming-port STREAMING_PORT

流API的监听端口。

--deepspeed

通过 Transformers 集成启用 DeepSpeed ZeRO-3 进行推理。

--nvme-offload-dir NVME_OFFLOAD_DIR

DeepSpeed：用于 ZeRO-3 NVME 卸载的目录。

--local_rank LOCAL_RANK

DeepSpeed：分布式设置的可选参数。

旗帜

描述

--wbits WBITS

加载具有指定精度（以位为单位）的预量化模型。

支持 2、3、4 和 8。

--model_type MODEL_TYPE

预量化模型的模型类型。

目前支持 LLaMA、OPT 和 GPT-J。

--groupsize GROUPSIZE

团体规模。

--pre_layer PRE_LAYER [PRE_LAYER ...]

分配给 GPU 的层数。

设置此参数可以启用 4 位型号的 CPU 卸载。

对于多 GPU，请写入以空格分隔的数字，例如

--pre_layer 30 60

。

--checkpoint CHECKPOINT

量化检查点文件的路径。

如果不指定，则会自动检测。

--monkey-patch

应用猴子补丁以将 LoRA 与量化模型结合使用。

--quant_attn

(triton) 启用定量注意力。

--warmup_autotune

(triton) 启用预热自动调谐。

--fused_mlp

(triton) 启用融合 MLP。

旗帜

描述

--cpu

使用CPU生成文本。

警告：CPU 训练速度非常慢。

--auto-devices

自动将模型拆分到可用的 GPU 和 CPU 上。

--gpu-memory GPU_MEMORY [GPU_MEMORY ...]

每个 GPU 分配的最大 GPU 内存（以 GiB 为单位）。

示例：

--gpu-memory 10

对于单个 GPU，

--gpu-memory 10 5

对于两个 GPU。

您还可以在 MiB 中设置值，例如

--gpu-memory 3500MiB

.

--cpu-memory CPU_MEMORY

为卸载权重分配的最大 CPU 内存（以 GiB 为单位）。

与上面相同。

--disk

如果模型对于 GPU 和 CPU 的组合来说太大，请将剩余层发送到磁盘。

--disk-cache-dir DISK_CACHE_DIR

保存磁盘缓存的目录。

默认为

cache/

.

--load-in-8bit

以 8 位精度加载模型（使用位和字节）。

--bf16

以 bfloat16 精度加载模型。

需要 NVIDIA Ampere GPU。

--no-cache

use_cache

生成文本时

设置为 False。

这会稍微减少 VRAM 的使用，但会降低性能。

--xformers

使用 xformer 的记忆高效注意力。

这应该会增加您的代币。

--sdp-attention

使用torch 2.0的sdp注意力。

--trust-remote-code

加载模型时设置 trust_remote_code=True。

ChatGLM 和 Falcon 所必需的。