【项目部署调试】 AnimateDiff_clip-vit-large-patch14

Assertion error

错误来源： animate.py 第55、56行

必须安装 xformers 库

pip install xformers

注意

安装的 xformers 需要确认好与自己 pytorch 版本对应的版本，否则xformers会自动卸载原先的pytorch ！

基本大模型 stable-diffusion-v1-5

作者在readme中使用 git clone 

我在 huggingface.co 将 runwayml/stable-diffusion-v1-5 整个项目完整地放到 models/StableDiffusion 目录下

一个一个下载，按照项目目录原样放入

openai/clip-vit-large-patch14

程序运行过程中，会自动访问hugging face.co 去下载项目 openai/clip-vit-large-patch14 

服务器无法访问该网站，故自行配置

依然需要按照项目的目录放置，再上传到服务器中，记住你在服务器中放的位置！

这里我在服务器中放置的位置是 /home/bohan/clip-vit-large-patch14/

回到无法访问的报错，我们需要在报错中寻找路径变量，让脚本在服务器中找到文件，就不用去下载了~

根据文件路径与行数前往服务器修改即可

133行，注意这里直接改为找到 config.json 文件

620行，同样直接改为找到 config.json 文件

改完上面两个变量，报了新的错，依然是找不到clip模型，还是找到带有路径变量的去修改

2735行，第一个变量改为路径，直接找到 pytorch_model.bins 文件，第二个变量改为 tf model 文件的名字 tf_model.h5 

最后，/animatediff/utils/convert_from_ckpt.py 的报错

717行，原来是

text_model = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14")

直接改为路径

text_model = CLIPTextModel.from_pretrained("/home/bohan/clip-vit-large-patch14")

本来，一切到这就结束了，可是726行却总是报错

原本是

text_model.load_state_dict(text_model_dict)

百思不得其解，知道在 github 的 issue 里的某个问题的某个评论看到了

改为

text_model.load_state_dict(text_model_dict, strict=False)

OK ，结束，跑起来了~

p.s. 按照默认的16帧跑要12G显存