技术布道 | 通过ModelScope魔搭社区调用大模型在线推理API_魔搭社区使用教程

前面整理了ModelScope魔搭社区的（计算机视觉）大模型全景图，我们想快速使用这些大模型也是非常方便的，可以直接调用ModelScope社区中提供的API进行调用，我们来用下。

Let's 构！

---

1. 登录ModelScope控制台（https://www.modelscope.cn/）。

2. 在“模型库”中搜索找到CoROM相关的大模型。

3. 我们使用“CoROM语义相关性-中文-通用领域-base”大模型，在文档介绍了监督数据训练的文本的Dual Encoder框架，Query和Document文本通过与训练语言模型编码后通常采用预训练语言模型CLS位置的向量作为最终的文本向量，基于标注数据的标签，通过计算query-document之间的cosine距离度量两者之间的相关性（见原始文档：CoROM文本向量-中文-通用领域-base · 模型库 (modelscope.cn)）。

4. 在模型页面右侧有在线体验，我们选择推理API，可以看到可以直接使用的示例代码进行调用。

5. 使用API之前我们需要先查看SDK令牌，在控制台首页-访问令牌页面可以查看或者新建。

6. 在本地运行代码并查看结果，任务顺利完成，通过输出内容可以看到响应输出结果。

7. 除了通过推理API的方式，我们还可以直接体验demo，修改句子并直接点击“执行测试”即可看到运行结果。

8. 恭喜获得新的技能，我们可以在ModelScope魔搭社区查看各种大模型，并且可以非常方便的在推理API中进行调用，除了CoROM类模型，其他大模型也都可以通过推理API和demo快速调用确认效果，再考虑通过大模型和在线服务构建自己的应用。