GPT， API调用参数设置_gpt api

官网文档

可以从这里获取API key。

具体参数：

【model】string 必填
使用的模型ID。可以使用模型API列表接口查看所有可用的模型，有关模型的描述，请参阅模型概述。

【prompt/meaasge】string 或 array 可选 默认值<|endoftext|>
生成的提示信息。<|endoftext|>是模型在训练期间看到的文档分隔符，因此，如果未指定提示，则模型将从新文档的开头生成。

【max_tokens】integer 可选 默认值16
要生成的最大token数量。大多数模型的上下文长度为2048个token（最新模型除外，支持4096个）。

【temperature】number 可选 默认值1
介于0和2之间。较高的值（如0.8）将使输出更加随机，而较低的值（例如0.2）将使其更加集中和确定。

【top_p】number 可选 默认值1
0.9意味着考虑包含前90%概率质量的token。
注意：通常建议改变它或temperature，但不能同时更改两者。

【stream】boolean 可选 默认值false
数据流模式，作用是对于结果一个字一个字的生成并返回，还是生成好之后一次性返回

【n】number 可选 默认值1
每次请求生成的回答数量，值为1，一次返回1条结果。

【seed】string 可选 默认值none
随机数种子，指定具体值后当temperature 为 0 时，每次生成的结果都一样，这个参数所有大模型都有

【presence_penalty】number 可选 默认值0
对出现过的 token 的概率进行降权

【frequency_penalty】number 可选 默认值0
对出现过的 token 根据其出现过的频次，对其的概率进行降权

【logit_bias】map 可选 默认值null
修改完成时出现指定token的可能性。不常用

【logprobs】integer 可选 默认值null
按可能性概率选择token的个数。
例如，如果logprobs为5，API将返回5个最有可能的token的列表。
API将始终返回采样token的logprob，因此响应中可能最多有logprobs+1元素。

【echo】boolean 可选 默认值false
除了完成之外，回显提示。

【best_of】integer 可选 默认值1
在服务器端生成best_of个完成，并返回“最佳”（每个token的日志概率最高）。结果无法流式传输。
与n一起使用时，best_of控制候选完成的数量，n指定要返回的数量–best_of必须大于n。
注意：由于此参数会生成许多完成，因此它可以快速消耗token配额。小心使用并确保您对max_tokens和stop进行了合理的设置。

messages = [{"role": "system", "content": instruction}] + cur + [{"role": "user", "content": query}]
'''
例如
messages = [
    {'role': 'system', 'content': 'Please complete the given function with Python code according to the description.'},
    {'role': 'user', 'content': 'from typing import List\n\n\ndef has_close_elements(numbers: List[float], threshold: float) -> bool:\n    """ Check if in given list of numbers, are any two numbers closer to each other than\n    given threshold.\n    >>> has_close_elements([1.0, 2.0, 3.0], 0.5)\n    False\n    >>> has_close_elements([1.0, 2.8, 3.0, 4.0, 5.0, 2.0], 0.3)\n    True\n    """\n'}
]

output:
Please complete the given function with Python code according to the description.
from typing import List\n\n\ndef has_close_elements(numbers: List[float], threshold: float) -> bool:\n    """ Check if in given list of numbers, are any two numbers closer to each other than\n    given threshold.\n    >>> has_close_elements([1.0, 2.0, 3.0], 0.5)\n    False\n    >>> has_close_elements([1.0, 2.8, 3.0, 4.0, 5.0, 2.0], 0.3)\n    True\n    """\n'}

'''
openai.api_version = "2023-05-15"  # "2023-03-15-preview"
if model==3.5:
   openai.api_key = "please input your token"
   id = "gpt-35-turbo"
elif model==4:
   openai.api_key = "please input your token"
   id = "gpt4-PTU"
else:
   openai.api_key = "please input your token"
   id = "gpt-4"
                
response = openai.ChatCompletion.create(
           deployment_id=id,  #这里就是model参数
           messages=messages,
           top_p=0.9, 
           n=n,
           temperature=temp,
           ...
          )
res = [tem["message"]["content"] for tem in response["choices"]]
return res
#旨在返回生成的内容

#接下来示例

{
 'id': 'chatcmpl-6p9XYPYSTTRi0xEviKjjilqrWU2Ve',
 'object': 'chat.completion',
 'created': 1677649420,
 'model': 'gpt-3.5-turbo',
 'usage': {'prompt_tokens': 56, 'completion_tokens': 31, 'total_tokens': 87},
 'choices': [
   {
    'message': {
      'role': 'assistant',
      'content': 'The 2020 World Series was played in Arlington, Texas at the Globe Life Field, which was the new home stadium for the Texas Rangers.'},
    'finish_reason': 'stop',
    'index': 0
   }
  ]
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55