效果炸裂！使用 GPT-4o 快速实现LLM OS

什么是 LLM OS？

关于 LLM OS 的最初构想源自@karpathy 在2023年11月11日发布的一条Twitter 动态，这是 LLM OS 概念的最早出处，如下图所示：

LLM OS 主要有以下5个部分组成：

• 第一、 LLM 作为 「CPU」：OpenAI GPT-4 Turbo；
  256 核心(即 batch size，数据送入 LLM 的批次大小)
  处理器频率 @ 20Hz (tok/s，即吐 token 的速度)

• 第二、 上下文窗口大小作为 「RAM」: 128Ktok(GPT-4 Turbo 的水平)；

• 第三、 嵌入工具作为「文件系统」: Ada002 是 OpenAI 的文本嵌入工具；

• 第四、 外设 I/O：视频、音频；

• 第五、 以太网：浏览器；

• 第六、 软件 1.0 工具：经典计算机，计算器、代码解释器、终端等等；

• 第七、 可与其他 LLM 互联。

LLM OS 开源实现

随着 OpenAI 发布 GPT-4o，语音、视频等多模态的输入和输出，让 LLM OS 的实现成为可能。接下来我们详细介绍下 LLM OS 的开源实现，目前已有 8.6k Stars，Github 地址如下所示：
https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os

LLM OS 的整体架构设计如下图所示：

第一、大语言模型（LLMs）是新兴操作系统的核心进程。

• 这个进程（LLM）可以通过协调其他资源（内存、计算工具）来解决问题。

第二、LLM 操作系统：

• 可以读取/生成文本；
• 关于所有主题的知识都比任何单个人类更丰富；
• 可以浏览互联网；
• 可以使用现有的软件基础设施（计算器、Python、鼠标/键盘）；
• 可以查看和生成图像和视频；
• 可以听和说，并生成音乐；
• 可以使用 System2 进行长时间的思考；
• 可以在特定领域“自我提升；
• 可以针对特定任务进行定制和微调；
• 可以与其他 LLM 进行通信。

运行 LLM OS 开源实现

运行 LLM OS 开源实现 phidata 只需要简单如下 5步操作：

第一步：Create a virtual environment

python3 -m venv ~/.venvs/aienv
source ~/.venvs/aienv/bin/activate
1
2

第二步：Install libraries

pip install -r cookbook/llm os/requirements.txt
1

第三步：Export credentials

• Our initial implementation uses GPT-4, so export your OpenAl APl Key

export OPENAI API KEY=***
1

• To use Exa for research, export your EXA _API_KEY

export EXA API KEY=xxX
1

第四步：Run PgVector

We use PgVector to provide long-term memory and knowledge to the LLM Os. Please install docker desktop and runPaVector using either the helper script or the docker run command.

• Run using a helper script

./cookbook/run pgvector.sh
1

• OR run using the docker run command

docker run -d \
-e POSTGRES DB=ai \
-e POSTGRES USER=ai \
-e POSTGRES PASSWORD=ai \
-e PGDATA=/var/lib/postgresql/data/pgdata \
-v pgvolume:/var/lib/postgresql/data \
-p 5532:5432 \
--name pgvector \
phidata/pgvector:16
1
2
3
4
5
6
7
8
9

第五步：Run the LLM OS App

streamlit run cookbook/llm os/app.Py
1

• Open localhost:8501 to view your LLM OS.
• Add a blog post to knowledge base: https://blog.samaltman.com/gpt-4o
• Ask: What is gpt-4o?
• Web search: Whats happening in france?
• Calculator: Whats 10!
• Enable shell tools and ask: is docker running?
• Enable the Research Assistant and ask: write a report on the ibm hashicorp acquisition
• Enable the Investment Assistant and ask: shall i invest in nvda?