【人工智能】电脑本地从零开始搭建属于自己的大模型_在自己的电脑上部署大模型

人工智能发展日新月异，大模型技术越发成熟。作为IT程序员的我们，不掌握点大模型技术知识怎么行。本文介绍怎么在自己电脑本地从零开始搭建属于自己的大模型，可以离线使用，不像网上文章讲的依赖openai ，  百度文心一言等 API接口。

首先了解下大模型是什么？通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。

大家对于chatGPT耳熟能详， 像GPT3.5， GPT4.0大模型，大部分人 通过 科学上网或 使用一些套壳软件 或多或少用过其能力。 2023年上半年chatGPT火热的时候，我就有学习大模型的想法，但奈何大模型严重依赖  海量数据、价格不菲的算力，复杂的算法。当时的电脑不支持GPU，冒出的想法暂时搁置了。自从meta开源 LLaMA2后， 国内雨后春笋冒出很多搞大模型的套壳公司。最近晚上在家刷公众号，经常刷到一些xxxx元AI大模型学习的韭菜付费课程。 作为新时代爱好学习的知识好青年，看不惯这种割韭菜的行为，毕竟大家的钱不是大风刮来的。本文准备在 自己的电脑上搭建类似 chatGPT的工具，这里以MAC为例， windows或linux类似。

先说工具， 线上链接 https://github.com/jmorganca/ollama ，直接根据文档介绍一步步来操作就可以。ollama是我目前所知 搭建大模型最容易上手的方式， 傻瓜式操作。

打开网站，mac安装包下载地址到本地，一步步傻瓜式安装。

这里以运行llama2 为例， 安装成功后 ， 直接 运行 

 ollama run llama2

这里运行的 lama2大模型， 是不是很容易，截图里写的一个java冒泡算法。

如果我们想把这个提供一个web服务，写一个聊天机器人，只要搞个自己定制的前端UI，后端直接调用提供的restapi接口即可。 专属免费，功能不比chatGpt逊色多少的聊天机器人就搞定了。

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?"
}'

本篇文章就到此为止，后续的计划：

1、AI应用侧，写一些基于AI的实际应用、落地实践。

2、作为程序员来说，后续还是更新一些关于机器学习、深度学习相关的文章（tensorflow、pytorch、transformer等），学习期间穿插微积分、线性代数、概率论的理论文章。毕竟实践还需要依赖一些数学理论。

文章可能偶尔忘记发在这里， 如果感兴趣可以关注  同名公众号（子晓聊技术）