devbox
正经夜光杯
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Datawhale AI夏令营 baseline1精读分享直播

作者：正经夜光杯 | 2024-08-17 23:12:35

赞

踩

Datawhale AI夏令营 baseline1精读分享直播

目录

一、环境配置

二、数据处理

三、promot工程

四、数据抽取 

五、个人感悟

听了baseline1的精读分享直播，对程序进行简要梳理。

一、环境配置

spark_ai_python要求python版本3.8以上

!pip install --upgrade -q spark_ai_python tqdm jsonschema python-dotenv

导入包，其中dotenv是一个零依赖的模块，它的主要功能是从.env文件中加载环境变量，此处从.env文件中加载ID、SECRET和KEY变量 

  1. from sparkai.llm.llm import ChatSparkLLM, ChunkPrintHandler
  2. from sparkai.core.messages import ChatMessage
  3. import json
  4. from dotenv import load_dotenv
  5.  
  6. # 加载.env文件中的环境变量
  7. """
  8. SPARKAI_APP_ID=""
  9. SPARKAI_API_SECRET=""
  10. SPARKAI_API_KEY=""
  11. """
  12. load_dotenv()

 在讯飞开放控制台获得大模型调用密钥信息

  1. #星火认知大模型Spark3.5 Max的URL值，其他版本大模型URL值请前往文档（https://www.xfyun.cn/doc/spark/Web.html）查看
  2. SPARKAI_URL = 'wss://spark-api.xf-yun.com/v3.5/chat'
  3. #星火认知大模型调用秘钥信息，请前往讯飞开放平台控制台（https://console.xfyun.cn/services/bm35）查看
  4. SPARKAI_APP_ID = os.getenv("SPARKAI_APP_ID")
  5. SPARKAI_API_SECRET = os.getenv("SPARKAI_API_SECRET")
  6. SPARKAI_API_KEY = os.getenv("SPARKAI_API_KEY")
  7. #星火认知大模型Spark3.5 Max的domain值，其他版本大模型domain值请前往文档（https://www.xfyun.cn/doc/spark/Web.html）查看
  8. SPARKAI_DOMAIN = 'generalv3.5'

 测试星火大模型是否可以正常使用

  1. def get_completions(text):
  2.     messages = [ChatMessage(
  3.         role="user",
  4.         content=text
  5.     )]
  6.     spark = ChatSparkLLM(
  7.         spark_api_url=SPARKAI_URL,
  8.         spark_app_id=SPARKAI_APP_ID,
  9.         spark_api_key=SPARKAI_API_KEY,
  10.         spark_api_secret=SPARKAI_API_SECRET,
  11.         spark_llm_domain=SPARKAI_DOMAIN,
  12.         streaming=False,
  13.     )
  14.     handler = ChunkPrintHandler()
  15.     a = spark.generate([messages], callbacks=[handler])
  16.     return a.generations[0][0].text
  17.  
  18. # 测试模型配置是否正确
  19. text = "你好"
  20. get_completions(text)

二、数据处理

目的：读取训练集和测试集的数据本身

定义两个函数用于读取json文件和写入json文件 

  1. def read_json(json_file_path):
  2.     """读取json文件"""
  3.     with open(json_file_path, 'r') as f:
  4.         data = json.load(f)
  5.     return data
  6.  
  7. def write_json(json_file_path, data):
  8.     """写入json文件"""
  9.     with open(json_file_path, 'w') as f:
  10.         json.dump(data, f, ensure_ascii=False, indent=4)
  11.  
  12. # 读取数据
  13. train_data = read_json("dataset/train.json")
  14. test_data = read_json("dataset/test_data.json")

查看对话数据集，是群聊数据，有部分影响大模型结果的信息存在：图片和引用消息等

  1. # 查看对话数据
  2. print(train_data[100]['chat_text'])

格式化为json格式 

  1. # 查看对话标签
  2. def print_json_format(data):
  3.     """格式化输出json格式"""
  4.     print(json.dumps(data, indent=4, ensure_ascii=False))
  5.  
  6. print_json_format(train_data[100]['infos'])

定义函数提取文本中的json字符串，type为list

  1. def convert_all_json_in_text_to_dict(text):
  2.     """提取LLM输出文本中的json字符串"""
  3.     dicts, stack = [], []
  4.     for i in range(len(text)):
  5.         if text[i] == '{':
  6.             stack.append(i)
  7.         elif text[i] == '}':
  8.             begin = stack.pop()
  9.             if not stack:
  10.                 dicts.append(json.loads(text[begin:i+1]))
  11.     return dicts
  12.  
  13. llm_output = """
  14. ```json
  15. [{
  16.     "基本信息-姓名": "李强1",
  17.     "基本信息-手机号码": "11059489858"
  18. }]
  19. ```
  20. """
  21.  
  22. # 测试一下效果
  23. json_res = convert_all_json_in_text_to_dict(llm_output)
  24. print_json_format(json_res)
  25. print(type(json_res))

三、promot工程

promot编写思路：任务目标-抽取数据定义-抽取内容引入-抽取规则强调

将群聊对话输入大模型 

  1.  prompt 设计
  2. PROMPT_EXTRACT = """
  3. 你将获得一段群聊对话记录。你的任务是根据给定的表单格式从对话记录中提取结构化信息。在提取信息时，请确保它与类型信息完全匹配，不要添加任何没有出现在下面模式中的属性。

 运行测试

  1. content = train_data[100]['chat_text']
  2. res = get_completions(PROMPT_EXTRACT.format(content=content))
  3. json_res = convert_all_json_in_text_to_dict(res)
  4. print_json_format(json_res)

查看原格式，含有markdown标签

print(res)

 

 查看数据对应的标签

  1. # 查看训练数据对应的标签
  2. print_json_format(train_data[100]['infos'])

四、数据抽取 

检查json格式并补全，防止大模型将空字段删除以及输出格式异常

check_and_complete_json_format函数对大模型抽取的结果进行字段格式的检查以及缺少的字段进行补全

  1. import json
  2.  
  3. class JsonFormatError(Exception):
  4.     def __init__(self, message):
  5.         self.message = message
  6.         super().__init__(self.message)
  7.  
  8. def check_and_complete_json_format(data):
  9.     required_keys = {
  10.         "基本信息-姓名": str,
  11.         "基本信息-手机号码": str,
  12.         "基本信息-邮箱": str,
  13.         "基本信息-地区": str,
  14.         "基本信息-详细地址": str,
  15.         "基本信息-性别": str,
  16.         "基本信息-年龄": str,
  17.         "基本信息-生日": str,
  18.         "咨询类型": list,
  19.         "意向产品": list,
  20.         "购买异议点": list,
  21.         "客户预算-预算是否充足": str,
  22.         "客户预算-总体预算金额": str,
  23.         "客户预算-预算明细": str,
  24.         "竞品信息": str,
  25.         "客户是否有意向": str,
  26.         "客户是否有卡点": str,
  27.         "客户购买阶段": str,
  28.         "下一步跟进计划-参与人": list,
  29.         "下一步跟进计划-时间点": str,
  30.         "下一步跟进计划-具体事项": str
  31.     }
  32.  
  33.     if not isinstance(data, list):
  34.         raise JsonFormatError("Data is not a list")
  35.  
  36.     for item in data:
  37.         if not isinstance(item, dict):
  38.             raise JsonFormatError("Item is not a dictionary")
  39.         for key, value_type in required_keys.items():
  40.             if key not in item:
  41.                 item[key] = [] if value_type == list else ""
  42.             if not isinstance(item[key], value_type):
  43.                 raise JsonFormatError(f"Key '{key}' is not of type {value_type.__name__}")
  44.             if value_type == list and not all(isinstance(i, str) for i in item[key]):
  45.                 raise JsonFormatError(f"Key '{key}' does not contain all strings in the list")
  46.  
  47.     return data
  48.  
  49. # Example usage:
  50. json_data = '''
  51. [
  52.     {
  53.         "基本信息-姓名": "张三",
  54.         "基本信息-邮箱": "zhangsan@example.com",
  55.         "基本信息-地区": "北京市",
  56.         "基本信息-详细地址": "朝阳区某街道",
  57.         "基本信息-性别": "男",
  58.         "基本信息-年龄": "30",
  59.         "基本信息-生日": "1990-01-01",
  60.         "咨询类型": "",
  61.         "意向产品": ["产品A"],
  62.         "购买异议点": ["价格高"],
  63.         "客户预算-预算是否充足": "充足",
  64.         "客户预算-总体预算金额": "10000",
  65.         "客户预算-预算明细": "详细预算内容",
  66.         "竞品信息": "竞争对手B",
  67.         "客户是否有意向": "有意向",
  68.         "客户是否有卡点": "无卡点",
  69.         "客户购买阶段": "合同中",
  70.         "下一步跟进计划-参与人": ["客服A"],
  71.         "下一步跟进计划-时间点": "2024-07-01",
  72.         "下一步跟进计划-具体事项": "沟通具体事项"
  73.     }
  74. ]
  75. '''
  76.  
  77. try:
  78.     data = json.loads(json_data)
  79.     completed_data = check_and_complete_json_format(data)
  80.     print("Completed JSON:", json.dumps(completed_data, ensure_ascii=False, indent=4))
  81. except JsonFormatError as e:
  82.     print(f"JSON format error: {e.message}")

 使用另一个jsonschema库进行更加简便的格式验证

  1. import json
  2. from jsonschema import validate, Draft7Validator
  3. from jsonschema.exceptions import ValidationError
  4.  
  5. class JsonFormatError(Exception):
  6.     def __init__(self, message):
  7.         self.message = message
  8.         super().__init__(self.message)
  9.  
  10. schema = {
  11.     "type": "array",
  12.     "items": {
  13.         "type": "object",
  14.         "properties": {
  15.             "基本信息-姓名": {"type": "string", "default": ""},
  16.             "基本信息-手机号码": {"type": "string", "default": ""},
  17.             "基本信息-邮箱": {"type": "string", "default": ""},
  18.             "基本信息-地区": {"type": "string", "default": ""},
  19.             "基本信息-详细地址": {"type": "string", "default": ""},
  20.             "基本信息-性别": {"type": "string", "default": ""},
  21.             "基本信息-年龄": {"type": "string", "default": ""},
  22.             "基本信息-生日": {"type": "string", "default": ""},
  23.             "咨询类型": {"type": "array", "items": {"type": "string"}, "default": []},
  24.             "意向产品": {"type": "array", "items": {"type": "string"}, "default": []},
  25.             "购买异议点": {"type": "array", "items": {"type": "string"}, "default": []},
  26.             "客户预算-预算是否充足": {"type": "string", "enum": ["充足", "不充足", ""], "default": ""},
  27.             "客户预算-总体预算金额": {"type": "string", "default": ""},
  28.             "客户预算-预算明细": {"type": "string", "default": ""},
  29.             "竞品信息": {"type": "string", "default": ""},
  30.             "客户是否有意向": {"type": "string", "enum": ["有意向", "无意向", ""], "default": ""},
  31.             "客户是否有卡点": {"type": "string", "enum": ["有卡点", "无卡点", ""], "default": ""},
  32.             "客户购买阶段": {"type": "string", "default": ""},
  33.             "下一步跟进计划-参与人": {"type": "array", "items": {"type": "string"}, "default": []},
  34.             "下一步跟进计划-时间点": {"type": "string", "default": ""},
  35.             "下一步跟进计划-具体事项": {"type": "string", "default": ""}
  36.         },
  37.         "required": [
  38.             "基本信息-姓名", "基本信息-手机号码", "基本信息-邮箱", "基本信息-地区", 
  39.             "基本信息-详细地址", "基本信息-性别", "基本信息-年龄", "基本信息-生日",
  40.             "咨询类型", "意向产品", "购买异议点", "客户预算-预算是否充足", 
  41.             "客户预算-总体预算金额", "客户预算-预算明细", "竞品信息", 
  42.             "客户是否有意向", "客户是否有卡点", "客户购买阶段", 
  43.             "下一步跟进计划-参与人", "下一步跟进计划-时间点", "下一步跟进计划-具体事项"
  44.         ]
  45.     }
  46. }
  47.  
  48. def validate_and_complete_json(data):
  49.     # Create a validator with the ability to fill in default values
  50.     validator = Draft7Validator(schema)
  51.     for item in data:
  52.         errors = sorted(validator.iter_errors(item), key=lambda e: e.path)
  53.         for error in errors:
  54.             # If the property is missing and has a default, apply the default value
  55.             for subschema in error.schema_path:
  56.                 if 'default' in error.schema:
  57.                     item[error.schema_path[-1]] = error.schema['default']
  58.                     break
  59.  
  60.     # Validate the completed data
  61.     try:
  62.         validate(instance=data, schema=schema)
  63.     except ValidationError as e:
  64.         raise JsonFormatError(f"JSON format error: {e.message}")
  65.  
  66.     return data
  67.  
  68. # Example usage:
  69. json_data = '''
  70. [
  71.     {
  72.         "基本信息-姓名": "张三",
  73.         "基本信息-手机号码": "12345678901",
  74.         "基本信息-邮箱": "zhangsan@example.com",
  75.         "基本信息-地区": "北京市",
  76.         "基本信息-详细地址": "朝阳区某街道",
  77.         "基本信息-性别": "男",
  78.         "基本信息-年龄": "30",
  79.         "基本信息-生日": "1990-01-01",
  80.         "咨询类型": ["询价"],
  81.         "意向产品": ["产品A"],
  82.         "购买异议点": ["价格高"],
  83.         "客户预算-预算是否充足": "充足",
  84.         "客户预算-总体预算金额": "10000",
  85.         "客户预算-预算明细": "详细预算内容",
  86.         "竞品信息": "竞争对手B",
  87.         "客户是否有意向": "有意向",
  88.         "客户是否有卡点": "无卡点",
  89.         "客户购买阶段": "合同中",
  90.         "下一步跟进计划-参与人": ["客服A"],
  91.         "下一步跟进计划-时间点": "2024-07-01",
  92.         "下一步跟进计划-具体事项": "沟通具体事项"
  93.     }
  94. ]
  95. '''
  96.  
  97. try:
  98.     data = json.loads(json_data)
  99.     completed_data = validate_and_complete_json(data)
  100.     print("Completed JSON:", json.dumps(completed_data, ensure_ascii=False, indent=4))
  101. except JsonFormatError as e:
  102.     print(f"JSON format error: {e.message}")

防止数据格式异常，可重新调用API获取数据

  1. if error_data:
  2.     retry_count = 10 # 重试次数
  3.     error_data_temp = []
  4.     while True:
  5.         if error_data_temp:
  6.             error_data = error_data_temp
  7.             error_data_temp = []
  8.         for data in tqdm(error_data):
  9.             is_success = False
  10.             for i in range(retry_count):
  11.                 try:
  12.                     res = get_completions(PROMPT_EXTRACT.format(content=data["chat_text"]))
  13.                     infos = convert_all_json_in_text_to_dict(res)
  14.                     infos = check_and_complete_json_format(infos)
  15.                     result.append({
  16.                         "infos": infos,
  17.                         "index": data["index"]
  18.                     })
  19.                     is_success = True
  20.                     break
  21.                 except Exception as e:
  22.                     print("index:", index, ", error:", e)
  23.                     continue
  24.             if not is_success:
  25.                 error_data_temp.append(data)
  26.         if not error_data_temp:
  27.             break
  28.     result = sorted(result, key=lambda x: x["index"])

如果有错误数据，重新请求 

  1. from tqdm import tqdm
  2.  
  3. retry_count = 5 # 重试次数
  4. result = []
  5. error_data = []
  6.  
  7. for index, data in tqdm(enumerate(test_data)):
  8.     index += 1
  9.     is_success = False
  10.     for i in range(retry_count):
  11.         try:
  12.             res = get_completions(PROMPT_EXTRACT.format(content=data["chat_text"]))
  13.             infos = convert_all_json_in_text_to_dict(res)
  14.             infos = check_and_complete_json_format(infos)
  15.             result.append({
  16.                 "infos": infos,
  17.                 "index": index
  18.             })
  19.             is_success = True
  20.             break
  21.         except Exception as e:
  22.             print("index:", index, ", error:", e)
  23.             continue
  24.     if not is_success:
  25.         data["index"] = index
  26.         error_data.append(data)

写入output.json并提交 

write_json("output.json", result)

五、个人感悟

在运行过程中报错：

Did not find spark_app_id, please add an environment variable `IFLYTEK_SPARK_APP_ID` which contains it, or pass `spark_app_id` as a named parameter. (type=value_error)

经过多次尝试后发现是需要在目录下自己创建.env文件，将环境变量写进去。

不知道是不是这么做的，但是我添加了文本文件，重命名为.env，之后该文件就不见了，但是程序可以运行，猜测是因为这个名称改变了路径。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/正经夜光杯/article/detail/994786
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号