热门标签
热门文章
- 1git pull 配置免密_git push 和 pull 时 免密执行的方法
- 2Leetcode 54.螺旋矩阵和Leetcoed 707.设计链表
- 3CTF-web刷题1
- 4Win10安装Centos8 Stream_centos-stream-8-x86_64-latest-dvd1.iso
- 5监管数据治理治什么？1104、EAST、客户风险系统数据简介_1104监管报表
- 6Unity C# 网络学习（十）——UnityWebRequest（一）_unity multipartformdatasection
- 7算法leetcode｜34. 在排序数组中查找元素的第一个和最后一个位置（rust重拳出击）_rust 一个数值在顺序数组中的位置
- 8中文医学大模型“本草”（原名华驼）：医学知识增强在中文大型语言模型指令微调上的初步探索...
- 9全面剖析OpenAI发布的GPT-4比其他GPT模型强在哪里_gpt4与其他模型的区别
- 10可以写进简历的软件测试项目实战经验(包含电商、银行、app等)_软件测试简历项目经验案例
当前位置: article > 正文
国内大语言模型对比评测（一）_各大语言模型 对比
作者：Gausst松鼠会 | 2024-03-26 15:25:26
赞
踩
各大语言模型 对比
国内大语言模型对比评测（一）
针对国产大模型的横空出世并不断打磨其性能，这次评测我们将覆盖国内所有开源的大语言模型（如下），也针对大家常用功能的设计了测试问题，用于评测其生成结果的优劣。测试问题统一为中文，用于为国内用户使用大语言模型提供参考。
我们所用到的国产大语言模型如下：
我们所涉及的测试问题主要涉及以下方面：自然语言理解、推理、创造性、情感和意图分析、语言多样性和翻译、多学科知识融合、偏见和伦理、鲁棒性、数学推理、医学诊断、多模态理解和生成。
评测系列文章：
- 国内大语言模型对比评测（一）
- 自然语言理解
- 推理
- 创造性
- 情感和意图分析
- 国内大语言模型对比评测（二）
- 语言多样性和翻译
- 多学科知识融合
- 偏见和伦理
- 鲁棒性
- 国内大语言模型对比评测（三）
- 数学推理
- 医学诊断
- 多模态理解和生成
测试结果
一. 自然语言理解
| 测试问题："解释量子力学的哥本哈根解释是什么？"、"在《罗密欧与朱丽叶》中，朱丽叶的复杂情感如何反映了莎士比亚对人性的理解？" |
| 评测结果：国产大模型在自然语言理解和生成结果上相差不大 |
百度文心一言3.5
|
|
阿里通义千问
|
|
腾讯混元
|
|
讯飞星火
|
|
抖音云雀
|
|
智谱清言
|
|
百川智能
|
|
MINIMAX
|
|
二. 推理
| 测试问题："如果一个房间里有两盏灯和两个开关，如何通过在房间外操作开关来确定哪个开关控制哪盏灯？"、"一个火车从城市A到城市B行驶，另一个火车从城市B到城市A行驶。一旦相遇，哪个火车距离它开始的城市更远？" |
| 评测结果：阿里通义千文 > 抖音云雀 > 腾讯混元 = 百川智能 = MINIMAX > 讯飞星火 > 智谱清言 > 百度文心一言3.5 |
百度文心一言3.5
|
|
阿里通义千问
|
|
腾讯混元
|
|
讯飞星火
|
|
抖音云雀
|
|
智谱清言
|
|
百川智能
|
|
|
MINIMAX
|
|
三. 创造性
| 测试问题："编写一个简短的故事，主题是时间旅行者误入了古罗马"、"设计一个适合初学者的Python编程练习" |
| 评测结果：百度文心 > 腾讯混元 = MINIMAX > 百川智能 = 智谱清言 > 讯飞星火 = 抖音云雀 > 阿里通义千问 对于国产大模型生成创新性结果几乎很类似，用的人物、场景、编程等元素有很多的重合度，所以其原创创新性不太够 |
百度文心一言3.5
|
|
阿里通义千问
|
|
腾讯混元
|
|
讯飞星火
|
|
抖音云雀
|
|
智谱清言
|
|
百川智能
|
|
MINIMAX
|
|
四. 情感和意图分析
| 测试问题："解释这句话的情感色彩：'我简直不敢相信你真的做到了！'"、"这封投诉信的主要诉求是什么？" |
| 评测结果：阿里通义千问 > 腾讯混元 = 讯飞星火 = 百川智能 = 智谱清言 > 百度文心 = MINIMAX > 抖音云雀 国产大语言模型对于情感分析都很合理，意图分析中相差比较大，部分模型会产生幻觉和其他无关内容。 |
文心一言3.5
|
|
阿里通义千问
|
|
腾讯混元
|
|
讯飞星火
|
|
抖音云雀
|
|
智谱清言
|
|
百川智能
|
|
MINIMAX
|
|
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/318015
推荐阅读
相关标签
