赞
踩
Xinference,也称为Xorbits Inference,是一个性能强大且功能全面的分布式推理框架,专为各种模型的推理而设计。无论是研究者、开发者还是数据科学家,都可以通过Xinference轻松部署自己的模型或内置的前沿开源模型。Xinference的特点包括部署快捷、使用简单、推理高效,并支持多种形式的开源模型。此外,Xinference还提供了WebGUI界面和API接口,方便用户进行模型部署和推理。
conda create -n Xinference python=3.10
conda activate Xinference
pip install chatglm_cpp-0.3.1-cp310-cp310-win_amd64.whl
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
python -c "import torch; print(torch.cuda.is_available())"
如果输出为True,则表示CUDA版本的Pytorch已成功安装。
pip install "xinference[all]"
xinference-local -H 0.0.0.0
这将在本地启动Xinference服务,并允许非本地客户端通过机器的IP地址访问。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。