MacOS本地部署codellama，并关联VSCode插件Cody AI_本地部署codellama模型后如何调用

作者：知新_RL | 2024-06-25 02:40:49

踩

本地部署codellama模型后如何调用

打开 VSCode，导航到“Extension”选项卡并搜索“Cody”。，在搜索结果中找到“Cody AI”并安装“Pre Release Version”

然后，使用google账户或者github账户登录Cody：

选择您的使用目的：为个人项目

然后，授权 Cody 并复制您的 VSCode 扩展令牌

一旦获得授权，它将再次打开 VSCode：如果一切顺利，将会在左边栏看到以下可用指令：

默认情况下，Cody 使用 gpt-4，然后每月费用为 9 美元，这对于我们来说还是太贵了！因此，接下来安装Code-llama，使用本地、免费的模型替代GPT-4！

Ollama

Ollama是一个轻量级且可扩展的框架，通过提供命令行界面，可以帮助用户在本地电脑上运行、创建和管理大语言模型（LLMs），整体感觉和Docker很像。

官网：https://ollama.com/

如何使用呢？很简单，下载安装后，只需在CMD命令行窗口，执行下面的命令（比如我这里启动Google刚开源的codegemma模型），就可以启动快速下载和直接运行一个大模型。

ollama run codellama

运行后，就可以在命令行窗口进行交互了，但是整体还是不太方便，我们期待的是有个web页面可以进行交互，方便使用。

接下来，打开vscode，导航至 Cody 的“设置”

然后单击“Cody Extension Settings”：

向下滚动并找到“Cody > Autocomplete > Advanced: Provider”，然后选择“llama-code-13b”

现在，使用CodeLlama 7B的Copilot就设置好了！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/754714