ubuntu 部署dify，xinference_dify 源码部署

作者：繁依Fanyi0 | 2024-04-20 22:08:10

踩

dify 源码部署

1) 第一步:部署Dify.

Dify: Do it for you. 词源于Define+Modify，是一个LLMOps平台，使用者可以不需要关注基础设施的底层原理就能落地AI应用，并持续运营的一个平台.

其具体的应用在:Dify应用的介绍

2)本地部署xinference

Xorbits inference 是一个强大且通用的分布式推理框架，是为大型语言模型、语音识别模型和多模态模型提供服务，甚至可以在笔记本电脑上使用。它支持多种与GGML兼容的模型,如 chatglm, baichuan, whisper, vicuna, orca 等。 Dify 支持以本地部署的方式接入 Xinference 部署的大型语言模型推理和 embedding 能力。

对其进行本地部署:pip3 install "xinference[all]"

然后就会下载xinference的python库,安装一系列依赖库。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/459613

ubuntu 部署dify，xinference_dify 源码 部署

ubuntu 部署dify，xinference_dify 源码部署