llamaindex实战-本地模型和Pandas数据对话

llamaindex实战-本地模型和Pandas数据对话

概述

本文介绍如何使用llamaindex的 PandasQueryEngine引擎，通过使LLM将自然语言转换为 Pandas python 代码。PandasQueryEngine 的输入是 Pandas 数据帧，输出是响应。 LLM 推断要执行的dataframe操作以检索结果。

可以通过python接口把不同数据源的数据读取成Pandas结构中。

注意：该引擎目前还处于实验阶段，有时候会出现语法错误。

实现步骤

（1）准备panda数据集；

（2）创建LLM大模型对象。这里可以使用不同大模型。我这里使用的是本地部署的Ollama中的模型。

（3）创建PandasQueryEngine查询对象；

（4）使用查询引擎对象来查询数据；

完整代码

import logging
import sys
import pandas as pd
from llama_index.experimental.query_engine import PandasQueryEngine
from llama_index.llms.ollama import Ollama

# 准备数据
df = pd.DataFrame(
    {
        "city": ["Toronto", "Tokyo", "Berlin"],
        "population": [2930000, 13960000, 3645000],
    }
)

## 构建LLM模型对象
llm = Ollama(model="llama3", request_timeout=360)

# 创建查询引擎
query_engine = PandasQueryEngine(df=df, llm=llm, verbose=True, synthesize_response=True)

# 查询最高人口数
response = query_engine.query(
    "What is the city with the highest population?",
)

#print(str(response.metadata["pandas_instruction_str"]))
print(str(response.metadata["raw_pandas_output"]))

# 查询平均数
response2 = query_engine.query(
    "What is the average population?",
)
print(str(response.metadata["raw_pandas_output"]))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

小结

通过支持pandas，可以让查询引擎变得更加强大。pandas可以把不同数据源的数据变成标准的dataframe格式，这样间接的支持了多种数据源。

参考资料

• Pandas Query Engine