测试一下 Baichuan2-7B-Chat 的性能

0. 背景

为了了解一下阿里通义千问-7B-Chat的性能，出了几个问题测试一下。

1. 实际测试结果(截图)

示例代码，

import os
import openai

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv()) # read local .env file
openai.api_key = 'sk-1234567890abcdefghijklmnopqrstuvwxyz1234567890DL'
openai.api_base = 'http://localhost:8000/v1'
1
2
3
4
5
6
7

openai.api_base = 'http://localhost:8000/v1'
def get_completion(prompt, model="gpt-3.5-turbo"):
    messages = [{"role": "user", "content": prompt}]
    response = openai.ChatCompletion.create(
        model=model,
        messages=messages,
        temperature=0,
    )
    return response.choices[0].message["content"]
1
2
3
4
5
6
7
8
9

开始测试，

get_completion("你是谁?")
1

输出如下，

示例代码，

get_completion("世界上第二高的山峰是哪座")
1

输出如下，

示例代码，

get_completion("鲁迅和周树人是什么关系?")
1

输出如下，

示例代码，

get_completion("一个球和一个球棒的总价是11美元，球棒比球贵10美元，球的价格是多少？")
1

输出如下，

这个答案是正确的，正确答案是0.5美元。

我们追加一些提示词，示例代码，

get_completion("请仔细思考，一步一步计算下面的数学题，最后在做验证。一个球和一个球棒的总价是11美元，球棒比球贵10美元，球的价格是多少？")
1

输出结果如下，

这个答案也是正确的。

示例代码，

get_completion("""
判断该学生的解决方案是否正确。

问题：
我正在建造一个太阳能发电装置，我需要帮助解决财务问题。
- 土地成本为100美元/平方英尺
- 我可以以250美元/平方英尺的价格购买太阳能电池板
- 我协商了一份维护合同，每年的费用为10万美元，另外每平方英尺10美元。
第一年运营的总成本是多少，与平方英尺数的关系是什么。

学生的解决方案：
设x为安装的面积，单位为平方英尺。
成本：
1. 土地成本：100x
2. 太阳能电池板成本：250x
3. 维护费用：100,000 + 100x
总成本：100x + 250x + 100,000 + 100x = 450x + 100,000
""")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

输出如下，

这个答案是错误。所以，使用时还是需要特别小心。

完结！