中文多模态 图文对比学习模型CLIP学习_taiyi模型架构

参考：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-102M-Chinese
https://github.com/OFA-Sys/Chinese-CLIP
https://huggingface.co/YeungNLP/clip-vit-bert-chinese-1M

Taiyi-CLIP

主要用的这个，他还是用的官方openai 的CLIP模型结构，只单独把文本塔换成中文，图片塔还是用训练好的vit模型，训练的时候也把图像模型冻结；所以图像还是用openai 的vit模型，文本模型用这里的中文模型Taiyi-CLIP-Roberta-102M-Chinese

***官方案例

from PIL import Image
import requests
import clip
import torch
from transformers import BertForSequenceClassification, BertConfig, BertTokenizer
import numpy as np

# 加载Taiyi 中文 text encoder
text_tokenizer = BertTokenizer.from_pretrained("IDEA-CCNL/Taiyi-CLIP-Roberta-102M-Chinese")
text_encoder = BertForSequenceClassification.from_pretrained("IDEA-CCNL/Taiyi-CLIP-Roberta-102M-Chinese").eval()
text = text_tokenizer(["一只猫", "一只狗",'两只猫', '两只老虎','一只老虎'], return_tensors='p
1
2
3
4
5
6
7
8
9
10