RWKV 模型启动工具 RWKV Runner 进阶教程（下）_rwkv runner 如何使用api

在 RWKV Runner 教程的上篇（新手教程），我们讲述了如何使用 RWKV Runner 本地部署并运行 RWKV 模型：

RWKV模型启动工具RWKV Runner新手教程（上）

而在今天发布的教程下篇，我们将主要介绍 RWKV Runner 的进阶用法，包括模型的自定义模型配置、服务器部署、API 相关、LoRA 微调，以及如何连接实体 MIDI 键盘作曲等内容。

自定义模型配置

在教程的上篇中，我们介绍了 RWKV Runner 拥有许多预设的模型配置，我们可以根据自己的显卡选择某项预设模型配置。

实际上，在 RWKV Runner 的配置页面，可修改预设模型配置的参数，或点击 + 号添加自定义的模型配置。

如果说预设模型配置像餐厅提前准备好的食物套餐，那么自定义模型配置就像是自助餐，你可以随意调整自定义配置中的各类参数，但请记住：对每项参数的调整，都会影响模型最终的生成效果。

以下为自定义模型配置的 API 参数说明，及其调整效果：

下为自定义模型配置的模型参数说明及其调整效果。

自定义模型配置示例

下面一项自定义模型配置的过程：

1. 点击 + 号，新建一项配置，调整 API 参数

由于是不需要创造力的翻译任务，我们稍微调低了 Temperature 和 Top_P 两项参数，使翻译的结果更准确。

2. 调整模型参数

在这一步，我们选择了一个 RWKV-5 1.5B 参数的 World 模型。

由于我们设备是 AMD的核显，无法使用 CUDA 驱动模型。因此我们在 Strategy 选项中选择了 “WebGPU（Python）”。

由于 WebGPU（Python）模式只支持 Safetensors 格式。因此，我们需要点击 Runner 的“转换”弹框，将 .pth 后缀的官方模型转换为 .st 后缀的模型格式。

3. 重新运行模型

耐心等待模型转换完成后，我们再次点击“模型”选项，选择转换完成后的 .st 模型，并点击运行。

如果你在 Strategy 选项中选择了 CPU ，转换过后的模型会带有类似 --cpu-fp32i8.pth 的后缀。

如果选择了 CPU（rwkv.cpp），则转换过后的模型会带有类似 fp16.bin 的后缀。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/644005