StarCoder2模型，释放你的大模型编码潜能

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

在数字时代，编程已成为一项必不可少的技能，但有时候编程也会显得枯燥乏味且耗时。因此，很多开发者开始寻找方法，借助大型语言模型（LLMs）来自动化和简化他们的编码任务。这些模型通过训练大量来自GitHub的开源代码库，能够在几乎不需要人类干预的情况下生成、分析和记录代码。

本文将探索使用StarCoder2，一种全新的社区模型，对代码LLMs的最新进展。StarCoder2支持数百种编程语言，并提供业界领先的准确性。接下来，我们将利用NVIDIA AI基础模型和终端尝试该模型，通过逐步指导进行定制，并将其部署到生产中。

StarCoder2是BigCode与NVIDIA合作构建的最先进的代码LLM。你可以利用该模型的能力，包括代码补全、自动填充、高级代码总结和使用自然语言检索相关代码片段，快速构建应用程序。

StarCoder2系列包括3B、7B和15B参数模型，为你提供选择适合自己使用场景并满足计算资源需求的灵活性。本文将重点介绍15B模型。

15B模型在流行的编程基准测试中超越了领先的开放代码LLMs，提供了同类产品中最优秀的性能。例如，Starcoder2 15B模型在HumanEval基准测试中显示，无论是Pass@1还是Pass@10，模型都展现出46%和65%的高性能。

模型训练得体，对所有人开放，使用了来自GitHub的超过1万亿令牌的、经过负责任筛选的数据。这包括600多种编程语言、Git提交、GitHub问题和Jupyter笔记本。模型在整个过程中完全透明，包括数据来源、处理和翻译。此外，个人可以选择不让自己的代码被模型使用。

StarCoder2模型根据BigCode开放RAIL-M许可证公开可用，确保免版税分发并简化了公司将模型集成到他们的用例和产品中的过程。

StarCoder2作为NVIDIA AI基础模型和终端的一部分提供，提供了一套经过策划的社区和NVIDIA构建的生成性AI模型，供你体验、定制和部署在企业应用中。

NVIDIA已经使用TensorRT-LLM优化了模型，这是一个用于定义、优化和执行大型语言模型推理的开源库。这使你在推理过程中能够实现更高的吞吐量和更低的延迟，同时在生产中降低计算成本。

现在，你可以直接通过浏览器使用简单的游乐场用户界面体验StarCoder2，查看运行在完全加速堆栈上的模型生成的结果。

如果你更喜欢使用API测试模型，我们也为你提供了便利。注册NGC目录后，你将获得NVIDIA云积分。这些积分让你能够将应用程序连接到API端点，并在大规模上体验模型。

# Will be used to issue requests to the endpoint API_KEY = “nvapi-xxxx“

import requests
 
invoke_url = "https://api.nvcf.nvidia.com/v2/nvcf/pexec/functions/835ffbbf-4023-4cef-8f48-09cb5baabe5f"
fetch_url_format = "https://api.nvcf.nvidia.com/v2/nvcf/pexec/status/"
 
headers = {
    "Authorization": "Bearer {}".format(API_KEY),
    "Accept": "application/json",
}
 
payload = {
  "prompt": "X_train, y_train, X_test, y_test = train_test_split(X, y, test_size=0.1) #Train a logistic regression model, predict the labels on the test set and compute the accuracy score",
  "temperature": 0.1,
  "top_p": 0.7,
  "max_tokens": 512,
  "seed": 42,
  "stream": False
}
 
# re-use connections
session = requests.Session()
 
response = session.post(invoke_url, headers=headers, json=payload)
 
while response.status_code == 202:
    request_id = response.headers.get("NVCF-REQID")
    fetch_url = fetch_url_format + request_id
    response = session.get(fetch_url, headers=headers)
 
response.raise_for_status()
response_body = response.json()

# The response body contains additional metadata along with completion text. Visualizing just the completion.
print(response_body['choices'][0]['text'])

大多数企业不会直接使用模型。你需要使用你的领域和公司特定的专业语言训练它们，以便模型能提供高精度的结果。NVIDIA使得通过NeMo定制它们变得简单。

NVIDIA Triton推理服务器是一个开源的AI模型服务平台，它简化并加速了AI推理工作负载在生产中的部署。它帮助企业减少模型服务基础设施的复杂性，缩短新AI模型在生产中部署所需的时间，并增加AI推理和预测能力。

现在就试试StarCoder2模型吧，通过用户界面或API体验它，如果这是适合你的应用程序的，那么就使用TensorRT-LLM进行优化，并使用NVIDIA NeMo进行定制吧。