Mistral-7b Colab 完整指南_mistal-7b 本地部署

介绍

Mistral 7B 的性能在所有标准上都超过了 Llama 2 13B，并且与 Llama 34B 相当。此外，它在代码质量和逻辑分析基准方面表现出显着的优势。

开源的法学硕士在其运行机制、架构设计、培训数据和方法及其利用方面提供了一定程度的透明度。此外，像 Mistral-7B 这样的开源 LLM 的高效优化有可能减少延迟并提高性能。

我很高兴能够探索 Mistral-7B 指令

1. The Lang-Chain framework and integration with Mistral-7B-Instruct. 
2. Retrieval Augmented Generation (RAG) with Mistral-7B-Instruct and Chroma DB. 
3. GGUF format for commodity hardware (Running on CPU).

1
2
3
4

Colab 片段

### Installation on Colab (As Of Oct) 
!pip install -q -U bitsandbytes
!pip install -q -U git+https://github.com/huggingface/transformers.git
!pip install -q -U git+https://github.com/huggingface/peft.git
!pip install -q -U git+https://github.com/huggingface/accelerate.git
!pip install -q -U einops
!pip install -q -U safetensors
!pip install -q -U torch
1
2
3
4
5
6
7