Python 将CSV文件数据存入Mysql数据库_python将csv导入数据库

我们有一个名为student.csv的文件，里面包含有学生的学号、姓名、性别等信息，想要基于Python将CSV文件中的信息写入MySQL数据库的student_info表中。

下面给出具体实现代码。

首先引入所需要的库。

import pandas as pd
import pymysql
import csv
from collections import namedtuple
1
2
3
4

1、get_data函数打开文件csv文件， 通过open方法打开文件（python文件实现了迭代器协议），然后使用with语句来迭代读取csv文件，然后存入命名元组，可以使用列名作为下标访问元组中的内容。

def get_data(file_name):
    with open(file_name) as f:
        f_csv = csv.reader(f)
        headings = next(f_csv)
        Row = namedtuple('Row', headings)
        for r in f_csv:
            yield Row(*r)
1
2
3
4
5
6
7

2、execute_sql，使用上下文管理器包装execute执行语句

def execute_sql(conn, sql):
    with conn.cursor() as cur:
        cur.execute(sql)
        print('执行成功')
1
2
3
4

3、main主函数，连接数据库，执行SQL语句，提交commit，关闭连接。

def main()
    conn = pymysql.connect(
           host='xxx.xxx.xxx.xxx',
           user='root',
           passwd='密码',
           db='数据库名称', 
           port = 3306,
           charset="utf8")

	# 将CSV文件中的数据插入MySQL数据表中
	SQL_FORMAT = """insert into student_info values('{0}', '{1}', '{2}')"""
	conn.autocommit(1)
	for t in get_data('./data/student.csv'):
	    print(t.id, t.name, t.gender)
	    sql = SQL_FORMAT.format(t.id, t.name, t.gender)
	    print(sql)
	    execute_sql(conn, sql)
	conn.commit()  # 提交到数据库
	conn.close()  # 关闭数据库服务
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

if __name__ == '__main__':
    main()
1
2

执行上述代码，查看MySQL数据表中的内容，发现数据被成功插入student_info 表中。

基于Python查询MySQL数据表

conn = pymysql.connect(
       host='xxx.xxx.xxx.xxx',
       user='root',
       passwd='密码',
       db='数据库名称', 
       port = 3306,
       charset="utf8")

SQL_FORMAT = """select * from student_info where name='{0}'"""
sql_1 = SQL_FORMAT.format('Mary')
print('sql_1:', sql_1)

sql_2 = 'select * from student_info where name=%s'
print('sql_2:', sql_2)

with conn.cursor() as cur:  # cursor对象用于执行sql语句
    cur.execute(sql_1)
    res_1 = cur.fetchall() # 获取结果及的所有数据     
    print('sql_1执行结果:', res_1)
    
    cur.execute(sql_2, 'Jack') 
    res_2 = cur.fetchall() # 获取结果及的所有数据     
    print('sql_12执行结果:', res_2)
conn.commit()  # 提交
conn.close()  # 关闭服务
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

输出结果：

sql_1: select * from student_info where name='Mary'
sql_2: select * from student_info where name=%s
sql_1执行结果: ((1, 'Mary', 'F'),)
sql_12执行结果: ((2, 'Jack', 'M'),)
1
2
3
4

【参考博客】：

1. Python将csv文件导入到mysql数据库
2. Python写入MySQL数据库的三种方式详解