当前位置:   article > 正文

国内主流AI大模型都是Python 开发的,国外AI大模型是什么语言开发的?为什么要用python?_国内大模型底层代码来源

国内大模型底层代码来源

很简单,因为做AI不需要造轮子!

我来举几个耳熟能详的例子,都很适合作为例子学习AI大模型

第一个是Meta的开源大模型Llama2,这是它的链接。

GitHub - facebookresearch/llama: Inference code for LLaMA models​github.com/facebookresearch/llama​编辑

映入眼帘的问卷后缀主要有两类,md-Markdown文件,一般是说明文件;py-Python文件,一般是工程文件。

再点进去具体的工程文件,清一色的py,python文件。

再深入一点儿,打开model.py模型文件,你看这个torch没,它是做深度学习基本上必备的库,它是基于Python写的。

再来一个OpenAI开源的GPT2,也是清一色的python文件。

https://github.com/openai/gpt-2/tree/master/src​github.com/openai/gpt-2/tree/master/src

不过GPT2是五年前的作品,它的model模型文件里面用的是tensorflow,它也是做深度学习的库。

你可以看这个图,做深度学习,其实主流的AI大模型,靠的就是这些工具,最底层就是C++或者C语言,因为它们的运行速度更快,但是缺点就是学习难度高,曲线长。

想要更加深入的了解大模型,我建议大家从拥有自己的GPT开始,这是最经典也是目前综合性能最强的大模型

因此在C++的基础上开发了更多的框架,用的是高级语言,比如说Python就是其中之一。

像PyTorch(Meta Llama)、TensorFlow(OpenAI GPT2)就是典型的例子,也有一些工作是用的MXNext等。

但是从主流角度来讲,会Pytorch基本上就差不多了。

但如果你要是从学习的角度来看,Pytorch只是专门来做大模型框架的,但是除了模型框架之外,其实还有不少的东西要学,才能覆盖完AI的大多数方向。

主要的库就这么几个,标*的是必学的,其他的可以暂时不学,或者让ChatGPT代劳。

库/模块名称简介
*NumPy提供了大量的数学函数以及用于操作大型数据集或数学数组的函数
*pandas提供了一种灵活的数据结构,使我们能够在 Python 中处理和分析表格型或异质型数据
*Matplotlib一个用于创建静态、动态或交互式可视化图表的库
Seaborn提供了一组高级界面,用于绘制吸引人的统计图形
*Scikit-Learn提供了一些简单且高效的工具,用于数据挖掘和数据分析
TensorFlow一个开源的深度学习框架,由 Google Brain 团队开发
Keras一个用于构建和训练深度学习模型的高级接口
PyTorch一个开源的深度学习框架,由 Facebook 的人工智能研究团队开发


在掌握Python基础和有了ChatGPT的辅助之后,开始机器学习的实操部分其实变得不那么困难了。

你可以利用机器学习算法的cheatsheet,逐一让ChatGPT帮你生成算法,并详细解释每一步,这个过程不仅比传统的学习方式更快,也更加有趣。

例如,如果你对线性回归(linear regression)感兴趣,你可以这样询问ChatGPT:“请使用Python创建一个线性回归的机器学习模型,并用模拟数据对其进行训练和验证。请一步步指导我如何实现,包括相关的数学公式。

不懂的地方直接问ChatGPT,比如说你不想问现成的库,想自己做一个加强印象,你可以这么问。


记得,遇到不懂的问题,直接提问即可。

实际操作经验通常是学习中的最佳老师。通过参与小型项目进行实战是极佳的学习方式。Kaggle平台提供了众多数据集,非常适合这种实践。你可以通过以下链接访问这些数据集:

https://www.kaggle.com/datasets?search=machine+learning

在Kaggle上,每个数据集都对应一个特定的机器学习任务。选择一个感兴趣的项目开始,先从阅读和学习他人的代码做起。

  免费资料包

另外还有免费的AI大模型学习资料包,供你学习。点击下面的卡片就可以免费领,具体有:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/黑客灵魂/article/detail/980213
推荐阅读
相关标签