Llama 2 with langchain项目详解(二)_langchain 调用本地大模型 llama2

Llama 2 with langchain项目详解(二)
First Open Source Conversational Agent
最近发布的Llama 2开源语言模型，在不同基准的测试中表现出色，是当前最佳性能的开源模型之一。我们非常期待这种新的开源模型能作为对话代理人，也就是聊天机器人来使用，聊天机器人是与大型语言模型交互的未来，代理具有访问外部信息和使用工具的灵活性， OpenAI的模型，例如GPT-3.5、GPT-4在对话生成方面的能力是非常出色的，展示了大型语言模型和对话代理人的未来趋势，而Llama 2的能力也非常重要，表明了开源模型在这一领域中的重要性。通过Llama 2模型，能够作为对话代理人工作，我们可以将Llama 2模型进行量化，以适应单个A100 的GPU内存，能够将70亿参数的模型适配到至少35GB的GPU内存中，实际上，多轮对话将会使用38GB左右的显存，但对于大语言模型来说，这并不算太多。
Gavin大咖微信：NLP_Matrix_Space
Llama 2是一个预训练和微调的生成文本模型的集合，其规模从70亿到700亿个参数不等。经过微调的LLM，名为Llama-2-Chat，针对对话用例进行了优化。Llama-2-Chat模型在大多数基准测试中，都优于开源聊天模型，在对有用性和安全性的人类评估中，与ChatGPT和PaLM等一些流行的开源模型不相上下，可以登录Hugging Face的Meta Llama 2网站（https://huggingface.co/meta-llama），查询Llama 2系列大模型的信息。
接下来，我们将探索如何在Hugging Face Transformer和LangChain中使用开源Llama-70b-chat模