基于dify开发的多模态大模型应用-智能铭牌识别（附代码）_dify 开发 新模块

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

1. 大模型应用向开发路径：AI代理工作流
2. 大模型应用开发实用开源项目汇总
3. 大模型问答项目问答性能评估方法
4. 大模型数据侧总结
5. 大模型token等基本概念及参数和内存的关系
6. 大模型应用开发-华为大模型生态规划
7. 从零开始的LLaMA-Factory的指令增量微调
8. 基于实体抽取-SMC-语义向量的大模型能力评估通用算法（附代码）
9. 基于Langchain-chatchat的向量库构建及检索（附代码）
10. 一文教你成为合格的Prompt工程师
11. 最简明的大模型agent教程
12. 批量使用API调用langchain-chatchat知识库能力
13. langchin-chatchat部分开发笔记（持续更新）
14. 文心一言、讯飞星火、GPT、通义千问等线上API调用示例
15. 大模型RAG性能提升路径
16. langchain的基本使用
17. 结合基础模型的大模型多源信息应用开发
18. COT：大模型的强化利器
19. 多角色大模型问答性能提升策略（附代码）
20. 大模型接入外部在线信息提升应用性能
21. 从零开始的Dify大模型应用开发指南
22. 基于dify开发的多模态大模型应用（附代码）

---

---

Dify框架

Didy是一个开源的 LLM 应用开发平台。
本文以文字识别、文字整合、表格填入三步功能组合的铭牌信息提取功能为例，介绍Dify框架在多模态大模型开发的基本流程。
多模态大模型实现这一功能，相比于传统的OCR系统，其 通用性更强、开发更快、模型对抽取结果的后处理能力更优秀。

使用示例

本案例实现路径：

• 输入：图像
• 处理过程：文字提取、矫正、信息整合
• 输出：json数据及整理后的excel表格文件
• 注意：excel表格文件生成功能需搭建一个在线的服务（很简单）

步骤1：Dify大模型能力接入

首先在设定界面接入智谱AI的API，当然此处不限大模型厂家，只要具备多模态能力的大模型均可，离线模型如OmniLMM等亦可。


上图中glm-4v即具备视觉能力的多模态大模型。

步骤2：在线服务

该服务是为了服务于excel表格生成后，为用户提供的下载功能。
即大模型返回一个链接，通过该链接用户可下载大模型所生成的excel文件。
只需要在服务器启动服务，语句如下：

python -m http.server 9707

注，9707为端口，注意该服务不要和其他服务端口冲突。

步骤3：代码

from fastapi import FastAPI, HTTPException, Depends
from typing import List, Optional
import re
import json
import datetime
import pandas as pd
from pydantic import BaseModel


app = FastAPI()
def post_processing(input_data):
    # 使用正则表达式匹配{}之间的内容
    pattern = r'{(.*?)}'
    match = re.search(pattern, input_data, re.DOTALL)

    # 匹配后做数据后处理
    if match:
        match = '{' + match.group(1) + '}'
        json_str = match.replace('\n', '')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18