赞
踩
在Python数据分析中,最常用的两种数据文件一个是Excel,还有一个就是csv文件了。当然如果数据量比较大的话,数据库就是必不可少的。
本篇文章我们不讨论数据库的知识点,我们给大家带来的是数据文件csv的操作。
CSV文件:Comma-Separated Values,中文叫逗号分隔值或者字符分割值,其文件以纯文本的形式存储表格数据。可以把它理解为一个表格,只不过这个表格是以纯文本的形式显示的,单元格与单元格之间,默认使用逗号进行分隔;每行数据之间,使用换行进行分隔。
形如这样的文件:
- name,age,score
- zhangsan,18,98
- lisi,20,99
- wangwu,17,90
- jerry,19,95
Python中的csv模块,提供了相应的函数,可以让我们很方便的读写csv文件。
- # 首先导入csv
- import csv
-
- # 向csv文件中写入的数据
- records = [
- ['4月01日', '17:00', 'IG PK RA'],
- ['4月02日', '17:00', '苏州LGN PK SN'],
- ['4月03日', '17:00', 'FPX PK RA'],
- ['4月04日', '17:00', 'SN PK 西安WE'],
- ['4月05日', '17:00', '北京JDG PK FPX'],
- ['4月06日', '17:00', 'SN PK TES']
- ]
-
- # 以写入方式打开一个csv文件
- with open('electronic_sports.csv','w') as stream:
-
- # 调用writer方法,传入csv文件对象,得到的结果是一个CSVWriter对象
- writer = csv.writer(stream)
- # 调用CSVWriter对象的writerow方法,一行行的写入数据
- for record in records:
- writer.writerow(record)
在写入的时候有可能中文出现乱码,解决方式就是在使用open打开的时候添加一个关键字参数encoding=‘utf-8’:
open('electronic_sports.csv','w',encoding='utf-8')
但是写入的数据内入如下(注意windows操作系统文件的格式是在一行的):
windows系统的换行问题也是需要在open里面添加一个newline=""的关键字参数。即
open('electronic_sports.csv','w',encoding='utf-8',newline="")
还有一个更加简便的写入多行的方式就是调用writerows()方法,这样就不用使用循环for每行遍历了。
- # 首先导入csv
- import csv
-
- # 向csv文件中写入的数据
- records = [
- ['4月01日', '17:00', 'IG PK RA'],
- ['4月02日', '17:00', '苏州LGN PK SN'],
- ['4月03日', '17:00', 'FPX PK RA'],
- ['4月04日', '17:00', 'SN PK 西安WE'],
- ['4月05日', '17:00', '北京JDG PK FPX'],
- ['4月06日', '17:00', 'SN PK TES']
- ]
-
- # 以写入方式打开一个csv文件
- with open('electronic_sports.csv','w') as stream:
-
- # 调用writer方法,传入csv文件对象,得到的结果是一个CSVWriter对象
- writer = csv.writer(stream)
- # 调用CSVWriter对象的writerow方法,一行行的写入数据
- writer.writerows(records)
如果我们操作的数据是字典格式的,比如:
- records = [{'date':'4月01日', 'time':'17:00', 'adversary':'IG PK RA'},
- {'date':'4月01日', 'time':'17:00', 'adversary':'IG PK RA'},
- {'date':'4月02日', 'time':'18:00', 'adversary':'苏州LGN PK SN'},
- {'date':'4月03日', 'time':'17:00', 'adversary':'SN PK 西安WE'},
- {'date':'4月04日', 'time':'16:00', 'adversary':'北京JDG PK FPX'},
- {'date':'4月05日', 'time':'19:00', 'adversary':'SN PK TES'}]
我们就需要换一种写入方式:
- # 首先导入csv
- import csv
-
- # 向csv文件中写入的数据
- records = [{'date':'4月01日', 'time':'17:00', 'adversary':'IG PK RA'},
- {'date':'4月01日', 'time':'17:00', 'adversary':'IG PK RA'},
- {'date':'4月02日', 'time':'18:00', 'adversary':'苏州LGN PK SN'},
- {'date':'4月03日', 'time':'17:00', 'adversary':'SN PK 西安WE'},
- {'date':'4月04日', 'time':'16:00', 'adversary':'北京JDG PK FPX'},
- {'date':'4月05日', 'time':'19:00', 'adversary':'SN PK TES'}]
-
- # 以写入方式打开一个csv文件
- with open('electronic_sports.csv','w',encoding='utf-8',newline="") as stream:
-
- # 调用writer方法,传入csv文件对象,得到的结果是一个CSVWriter对象
- writer = csv.DictWriter(stream,fieldnames=['date','time','adversary'])
- # 写入头部内容
- writer.writeheader()
- for record in redords:
- # 调用CSVWriter对象的writerow方法,一行行的写入数据
- writer.writerows(record)
office打开之后就是如图所示:
我们还可以读出一个csv文件的内容,但是使用的方法是reader(),该方法返回的结果是一个生成器reader对象,所以需要遍历输出
- import csv
-
- # 以读取方式打开一个csv文件
- with open('electronic_sports.csv','r') as stream:
- # 调用csv模块的reader方法,得到的结果是一个可迭代对象
- reader = csv.reader(stream)
- # 对结果进行遍历,获取到结果里的每一行数据
- for row in reader:
- print(row)
而字典的读也是类似的,只不过在遍历的时候需要通过row获取一下
- import csv
- with open('electronic_sports1.csv','r') as csvfile:
- reader = csv.DictReader(csvfile)
- print(reader)
- for row in reader:
- print(row['date'],row['time'],row['adversary'])
Pillow属于第三方库,所以需要单独下载一下:
pip install pillow
Pillow库安装成功后,我们就可以对图片进行各种处理了,比如裁剪、旋转等等。导包时要用PIL来导入,而不能用pillow或Pillow。
import PIL from PIL import Image
在Pillow库中,除了有二十多个模块,还支持非常多的插件。其中最常用的是Image模块,而其他很多模块都是在Image模块的基础上对图像做进一步的特殊处理,Image模块中会导入部分来使用。
我们对图片的操作是离不开 Image 模块的,当然在操作的过程中也需要也离不开 ImageColor,ImageDraw 和ImageFont等
Image模块的常用方法:
1.导入和简单的文件读取
open()
PIL.Image.open(fp, mode='r', formats=None)
open(fp, mode='r'):打开一张图片,是Image模块中的函数。如果图片与当前代码在同一目录下,可以只写图片的文件名,其他情况需要拼接图片的路径。mode默认为'r'。我们通过代码打开刘亦菲的图片看一看
- # 步骤一:导入
- from PIL import Image
- # 步骤二: 打开图像
- im = Image.open("刘亦菲.jpg")
- # 步骤三: 显示图像
- im.show()
image对象往往会配合show方法打开图片:
show() 方法 :调用图片显示软件打开图片。打开后程序会阻塞,需要手动关闭(就是弹出来的框需要手动关闭)
如果需要查看类似图像大小,格式之类的属性,可以通过image对象来查看,比如上面的刘亦菲的图片
- # 步骤一:导入
- from PIL import Image
- # 步骤二: 打开图像
- im = Image.open("刘亦菲.jpg")
-
- print('size: ', im.size)
- print('mode: ', im.mode)
- print('format: ', im.format)
其中属性:
size属性是一个tuple,表示图像的宽和高(单位为像素)
format属性定义了图像的格式,如果图像不是从文件打开的,那么该属性值为None;
mode属性为表示图像的模式,常用的模式为:L为灰度图,RGB为真彩色,CMYK为pre-press图像
convert()函数
模式变换需要用到convert('对应的模式'),代码如下:
- from PIL import Image
-
- # 演示几个模式进行对比即可
- image = Image.open("刘亦菲.jpg")
- print(image.mode)
- image1 = image.convert('1')
- print(image1.mode)
- # image1.show()
- image_l = image.convert('L')
- print(image_l.mode)
- # image_l.show()
- image_p = image.convert('P')
- print(image_p.mode)
- image_p.show()
- image_p = image.convert('HSV')
- print(image_p.mode)
- image_p.show()
- image_p = image.convert('RGB')
- print(image_p.mode)
- image_p.show()
convert(self, mode=None, matrix=None, dither=None, palette=WEB, colors=256): 将图片转换为指定的模式,并且返回转换后的图片副本。如果不指定模式,则自动选择一种能保留图片所有信息且不使用调色板的模式(通常的结果是不转换)。mode就是我们想要转换的模式,比如:mode= 'L', mode='RGB'等
matrix,转换矩阵。传入该参数时,应该传入由浮点数构成的元组,元组长度为4或12。matrix只支持从少数模式转换成'L'或'RGB'。
new()函数
那除了打开现有的图片,我们还可以使用new新建一个image对象
new(mode, size, color=0): 创建一张图片(画布),用于绘图,是Image模块中的函数.
1.mode,图片的模式,如“RGB”(red,green,blue三原色的缩写,真彩图像)、“L”(灰度,黑白图像)等。
2.size,图片的尺寸。是一个长度为2的元组(width, height),表示的是像素大小。
3.color,图片的颜色,默认值为0表示黑色。可以传入长度为3的元组表示颜色,也可以传入颜色的十六进制,在版本1.1.4后,还可以直接传入颜色的英文单词,如上面代码中的(0, 0, 255)可以换成‘#0000FF’或‘blue’,都是表示蓝色。
- from PIL import Image
-
- image = Image.new('RGB', (220, 150), (65, 122, 255))
- image.show()
这时显示的的是一个如下图的图片(图片查看器打开之后的样子):
可以跟new()结合使用的就是画画,比如我们常用的随机验证码就是用这个绘制出来的。
但是在绘制过程中我们会用到ImageDraw模块,ImageFont,ImageFilter模块等。我们来看一下吧(代码有点长~~~)!
- import random
- from PIL import Image
- from PIL import ImageDraw,ImageFont,ImageFilter
-
- def get_color():
- red = random.randint(0, 256)
- green = random.randint(0, 256)
- blue = random.randint(0, 256)
- return (red, green, blue)
-
- def get_code(lenght):
- s = '1234567890qwertyuiopasdfghjklzxcvbnmQWERTYUIOPASDFGHJKLZXCVBNM'
- code = ''
- for i in range(lenght):
- code += random.choice(s)
-
- return code
-
- def draw_code():
- # 指定画布的长度和宽度
- width = 120
- height = 40
- image_size = (width, height)
-
- # 定义画布
- image = Image.new('RGB', image_size, get_color())
- # 定义画笔
- draw = ImageDraw.Draw(image)
-
- # 产生验证码
- code = get_code()
-
- # 指定字体和字体大小,指定使用的字体tahoma.ttf,是从windows的fonts中复制的一种字体。
- myfont = ImageFont.truetype(font='tahoma.ttf', size=30)
-
- # 逐个绘制验证码字符
- for i in range(4):
- # 每绘制一个字符,x轴的位置要改变,y轴的可以不变
- distance_x = random.randint(30 * i, 30 * i + 5) # [0,10]
- distance_y = random.randint(0, 5)
- draw.text((distance_x, distance_y), code[i], font=myfont, fill=get_color())
-
- # 绘制干扰线
- for i in range(10):
- # 指定起始和结束位置
- begin = (random.randint(0, width), random.randint(0, height))
- end = (random.randint(0, width), random.randint(0, height))
- # 使用画笔绘制起始和结束位置,并通过fill指定颜色
- draw.line((begin, end), fill=get_color())
-
- # 绘制干扰点
- for i in range(20):
- draw.point((random.randint(0, width), random.randint(0, height)), fill=get_color())
-
- # 滤镜,边界加强
- image = image.filter(ImageFilter.EDGE_ENHANCE_MORE)
- image.show()
代码中使用到了:
PIL.ImageDraw.Draw(im, mode=None) 创建可用于绘制给定图像的对象。
参数
im -- 要绘制的图像。
mode -- 用于颜色值的可选模式。对于RGB图像,此参数可以是RGB或RGBA(将图形混合到图像中)。对于所有其他模式,此参数必须与图像模式相同。如果忽略,则模式默认为图像的模式。
PIL.ImageFont.load(filename) 从文件或类似文件的对象加载TrueType或OpenType字体,然后创建字体对象。
此函数从给定的文件或类似文件的对象加载字体对象,并为给定大小的字体创建字体对象。
参数
font -- 包含TrueType字体的文件名或类似文件的对象。如果在此文件名中找不到该文件,加载程序还可以在其他目录中搜索,例如 fonts/ Windows上的目录或 /Library/Fonts/ , /System/Library/Fonts/ 和 ~/Library/Fonts/ 关于MaOS.
size -- 请求的大小,以磅为单位。
ImageFilter模块包含一组预定义的筛选器的定义,比如有一组预定义的图像增强过滤器
crop(box=None):裁剪图片,返回裁剪区域的图片。box表示裁剪的区域,传入长度为4的元组(x0, y0, x1, y1),不传默认为拷贝原图,如果裁剪的区域超过了原图的区域,超出部分用像素格填充。
resize(size, resample=BICUBIC, box=None, reducing_gap=None):缩放图片,返回缩放后的图片副本。
- from PIL import Image
-
-
- image = Image.open("刘亦菲1.jpg")
- print(image.size)
- image_crop = image.crop(box=(300, 300, 800, 700))
- image_crop.show()
- print('before resize: ', image.size)
- image_resize = image.resize((350,350), resample=Image.LANCZOS, box=(70,35,460,345) ,reducing_gap=5.0)
- print('after resize: ', image_resize.size)
- image_resize.show()
对比图:
rotate(angle, resample=NEAREST, expand=0, center=None, translate=None, fillcolor=None): 对图片进行旋转,返回一张旋转后的图片副本。有6个参数。
angle, 旋转的角度。这个参数是一个必传参数,按角度制计算,按逆时针方向旋转。
resample, 重采样,是一个可选的重采样过滤器。可以传入Image.NEAREST, Image.BILINEAR, Image.BICUBIC(三个依次是越来越清晰)。默认为Image.NEAREST出来的图片不太清晰。
expand, 可扩展性。传入数字0或1,表示布尔值,默认为0。如果值为0,对图片旋转后,返回图片的尺寸与原图尺寸一样。如果值为1,则旋转后,返回图片的尺寸会根据旋转角度自动调整(如果旋转中心保持默认和没有进行平移,则返回图片中可以看到完整的原图)。
center, 旋转的中心。传入长度为2的元组(x, y),表示旋转中心的像素点。默认为原图的几何中心。
translate, 平移的坐标。传入长度为2的元组(x, y),将原图按(x, y)进行平移,默认为(0, 0)。
fillcolor, 填充颜色。
- from PIL import Image
-
-
- girl = Image.open('刘亦菲1.jpg')
- girl = girl.resize((375,470))
- image = girl.rotate(15, resample = Image.BICUBIC, center=(150, 210), expand=1, translate=(30, 30), fillcolor='#E4C8C4') #
- print(image.size)
- image.show()
-
除了使用show()我们还可以使用save()进行本地化保存。
在给定文件名下保存此图像。如果未指定格式,则可以从文件扩展名确定要使用的格式(如果可能)。
Image.save(fp, format=None, **params)
fp -- 文件名(字符串)、pathlib.path对象或文件对象。
format -- 可选格式替代。如果省略,则使用的格式由文件扩展名决定。如果使用的是文件对象而不是文件名,则应始终使用此参数。
params -- 图像编写器的额外参数。
image.save('保存路径')
除了旋转我们还可以转置和翻转
transpose(method): 转置或翻转图片,返回转置后的图片副本。
method可以传入Image.FLIP_LEFT_RIGHT(左右转置),Image.FLIP_TOP_BOTTOM(上下转置),Image.ROTATE_90(旋转90度),Image.ROTATE_180(旋转180度), Image.ROTATE_270(旋转270度),Image.TRANSPOSE(先左右倒置然后逆时针旋转90度),Image.TRANSVERSE(先左右倒置然后顺时针旋转90度)。这些方法都是旋转90度和翻转组合的结果。
- from PIL import Image
-
-
- image = Image.open("刘亦菲1.jpg")
- image1 = image.transpose(Image.FLIP_LEFT_RIGHT)
- image1.show()
- image2 = image.transpose(Image.FLIP_TOP_BOTTOM)
- image2.show()
- image3 = image.transpose(Image.ROTATE_180)
- image3.show()
- image4 = image.transpose(Image.TRANSVERSE)
- image4.show()
- image4 = image.transpose(Image.TRANSPOSE)
- image4.show()
最后就可以将处理后的图片进行保存了。
千锋教育Python全套视频教程,轻松掌握Excel、Word、PPT、邮件、爬虫、office办公自动化(宋如宁主讲)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。