如何使用 Code Llama 构建您自己的 LLM 编码助手 ,使用 CodeLlama-7b-Instruct-hf 和 Streamlit 创建本地 LLM 聊天机器人_continue + ollama + codellama:7b

在本实践教程中，我们将实现一个免费使用并在本地 GPU 上运行的 AI 代码助手。

您可以向聊天机器人提问，它会以自然语言和多种编程语言的代码进行回答。

我们将使用 Hugging Face 转换器库来实现 Chatbot 前端的 LLM 和 Streamlit。

LLM 如何生成文本？

仅解码器 Transformer 模型（例如 GPT 系列）经过训练可以预测给定输入提示的下一个单词。这使得他们非常擅长文本生成。

如果有足够的训练数据，他们还可以学习生成代码。要么在 IDE 中填写代码，要么作为聊天机器人回答问题。

GitHub Copilot 是 AI 结对程序员的商业示例。Meta AI 的 Code Llama 模型具有类似的功能，但可以免费使用。

什么是代码骆驼？

Code Llama 是由 Meta AI 创建的一个特殊的代码法学硕士系列，最初于 2023 年 8 月发布。

从基础模型 Llama 2（类似于 GPT-4 的仅解码器的 Transformer 模型）开始，Meta AI 使用 500B 个令牌的训练数据（主要是代码）进行了进一步训练。

之后，Code Llama 又推出了三个不同版本、四种不同尺寸。

Code Llama 模型可免费用于研