python文件操作的基本流程_操作系统完成python运行操作过程

引入

程序运行过程中产生的数据会保存到内存中，如果想要永久保存下来，就必须将数据存放在硬盘上，应用程序如果想要操作计算机的硬件就必须通过操作系统，文件就是操作系统提供给应用程序来操作硬盘的虚拟概念，应用程序操作文件就是向操作系统发送调用，由操作系统完成对硬盘的操作。

文件操作的基本流程

比如想打开电脑桌面上一个word文档进行操作，步骤应该是：1、双击打开文档； 2、进行某些操作，比如读文件、修改文件等；3、保存后关闭文件。

使用python实现对文件的操作也遵循这三个步骤：

# open()方法常用方式是接收三个参数:文件绝对/相对路径,操作文件的方式,编码格式
# 1.打开文件，应用程序向操作系统发送调用，操作系统打开文件(硬盘上的一块空间)，返回一个文件对象赋值给变量file
file = open(r'D:\文件.txt', 'r', encoding='utf-8')  # 以读模式打开文件，打开文件的字符编码是utf-8
# 注意：\在python中有特殊意义，当路径是绝对路径时，需要在路径字符串前加r进行转义；文件路径如果是文件名的话，python会在当前程序文件夹所在路径下去找该文件。
 
# 2、对文件进行操作，比如读文件---调用文件对象的读方法
data = file.read()
 
# 3、关闭文件，向操作系统发送关闭文件的请求
file.close()

使用python打开一个文件之后产生了两部分的内存空间占用，一部分是文件打开后占用的内存空间，另一部分是打开后产生的文件对象，文件操作完成之后需要回收这两部分的内存空间.

file.close()  # 删除文件打开后占用的内存
del file  # 删除文件对象的内存

由于python垃圾回收机制，我们无需考虑删除文件对象这一步，但是在操作完文件之后必须要关闭文件，就是f.close()，否则在电脑上不停的打开文件而不关闭，电脑的内存迟早会被用尽，尽管如此，可能还会有粗心的小伙伴忘记关闭文件，python为了防止这一情况，提供了with关键字来帮助我们管理从打开到关闭整个上下文的流程，因此with关键字也称为with上下文管理。

# 执行完with下的子代码块之后会自动执行f.close()的操作，再也不用担心忘记关闭文件了。
with open('文件.txt', 'r') as f:  # 打开文件，将文件对象赋值给变量f
    pass   # pass是什么都不做，可以用来占位
 
# 可以用with同时打开多个文件，用逗号分隔
with open('file1.txt', 'r') as f1, open('file2.txt', 'r') as f2:
    data1 = f1.read()
    data2 = f2.read()

由于使用python打开文件的时候是通过操作系统完成的，如果打开的文件是文本文件，会涉及到字符编码的问题，如果在打开文件时没有指定字符编码，操作系统就会使用自己默认的编码打开文件(windows下是gbk，在linux下是utf-8)，如果要保证不乱码，文件以什么编码格式存的就要以什么格式打开。

操作文件的模式

打开文件后，需要对文件进行进行不同的操作，比如读文件、改文件，因此在使用python打开文件时也需要指定操作文件的方式。控制文件读写操作的模式有三种。

1.只读(r)---默认的操作文件的方式

当文件不存在时会报错，文件存在时，文件内的指针(可以理解为光标)直接跳到文件开头。

with open('a.txt', mode='r', encoding='utf-8') as f:
    data = f.read()

2.只写(w)

在文件不存在时会在程序文件所在文件夹创建一个文件，如果文件存在，会清空文件中的内容，文件指针跳到文件开头，进行写操作。需要注意的是，在文件不关闭的情况下，写入的数据是按照先后顺序的，如果文件关闭后重新以w模式打开，会清空文件数据。

with open('a.txt', 'w', encoding='utf-8') as f:
    f.write('hello world\n')  # \n表示换行
    f.write('my name is python')

3.只追加写(a)

文件不存在时会在当前文件夹创建文件，文件存在时，文件指针直接移动到文件末尾，不会清空文件数据。

a模式和w模式的异同：

相同点：文件不存在都会创建文件，文件不关闭的情况下，数据依次写入

不同点：a模式重新打开文件不会清空文件，文件指针一道末尾，新写的内容跟在旧的内容之后。

with open('a.txt', 'a', encoding='utf-8') as f:
    f.write('追加的1\n')
    f.write('追加的2\n')

使用这三种模式操作文件时一定要注意，对文件的操作要么只读，要么只写，不能使用只读的模式打开文件，然后去进行写的操作。但是python提供了可读可写的方法r+ a+ w+,但是在实际开发中要么只读要么只写，一般不使用可读可写的模式。

控制文件读写单位

文件的读写单位有两种模式，一种是字符串模式(t模式)，另一种是bytes(二进制)模式(b模式)，这两种模式必须和r/w/a之一结合使用。

t模式，文本模式，默认模式，读写文件都是以字符串为单位，只针对文本文件，必须指定encoding参数。

# 如果打开文件时指定打开模式为r/w/a，其实默认就是rt/wt/at
with open('a.txt', 'wt', encoding='utf-8') as f:
    f.write('haha')  # 写入的数据必须也是字符串格式

b模式，二进制模式，读写文件都是以bytes/二进制为单位，可以针对所有文件，一定不能指定encoding参数。

with open('a.txt', 'wb') as f:
    info = 'name'
    # 需要将写入文件的数据转成二进制格式，使用encode()方法指定编码格式可以实现
    res = info.encode('utf-8')
    f.write(res)

b模式和t模式对比：

在操作纯文本文件方面，t模式帮助我们省去了编码与解码的环节，所以t模式更方便。

在针对非文本文件(图片、音频等)只能使用b模式。

操作文件的方法 - 读和写

在使用r模式打开文件的时候有几种读取数据的方式

f.read()  # 一次性读取所有内容，如果文件过大，会导致内存不足
f.readline()  # 每次读取文件的一行内容，读完一行后，光标移至第二行行首
f.readlines()  # 一次性读取所有内容，将每一行内容存放于列表中

f.read()和f.readlines()都是将文件一次性读取，如果内容过大，会导致内存不足，如果想要将文件全部读取到内存中，建议分多次读入，有两种实现方式:

# 方式一
with open('a.txt',mode='rt',encoding='utf-8') as f:
    for line in f:
        print(line) # 同一时刻只读入一行内容到内存中
# 方式二
with open('好汉歌.mp3', mode='rb') as f:
    while True:
        data=f.read(1024) # 同一时刻只读入1024个Bytes到内存中
        if len(data) == 0:
            break
        print(data)

同样针对写操作也有几种不同的方式

f.write('hello\nworld\n')  # 针对文本模式的写,需要自己写换行符
f.write('1111\n222\n'.encode('utf-8'))  # 针对b模式的写,需要自己写换行符
f.writelines(['333\n','444\n'])  # 文件模式
f.writelines([bytes('333\n',encoding='utf-8'),'444\n'.encode('utf-8')]) #b模式

控制文件指针移动

文件内的指针类似于光标，但不同的是文件的指针移动的单位是以bytes为单位，唯一例外的是t模式下的read(n),n是以字符为单位。

with open('a.txt',mode='rt',encoding='utf-8') as f:
     data=f.read(3) # 读取3个字符
        
with open('a.txt',mode='rb') as f:
     data=f.read(3) # 读取3个Bytes

r/w/a模式下文件指针的移动是被动触发的，如果想要读取文件某一指定位置的数据，需要使用f.seek()方法主动控制文件内指针的移动。

f.seek()方法需要接收两个参数，第一个参数是指针移动的字节数，第二个参数是模式控制。模式控制有三种：

0模式：默认的模式，表示指针移动的字节数以文件开头作为参照

1模式：表示指针移动的字节数以文件指针当前所在位置作为参照

2模式：表示指针移动的字节数以文件末尾作为参照

其中0模式可以在t/b模式下使用，1模式和2模式只能在b模式下使用。

# 0模式
with open('a.txt',mode='rt',encoding='utf-8') as f:
    f.seek(3,0)     # 参照文件开头移动了3个字节
    print(f.tell())  # 查看当前文件指针相对于文件开头的位置
    
# 1模式
with open('a.txt',mode='rb') as f:
    f.seek(3,1) # 从当前位置往后移动3个字节，而此时的当前位置就是文件开头
    print(f.tell()) # 输出结果为：3
    
# 2模式
with open('a.txt',mode='rb') as f:
    f.seek(-3,2)     # 参照文件末尾往前移动了3个字节
    print(f.read().decode('utf-8')) # 输出结果为：好

修改文件

文件是操作系统为了方便应用程序操作硬盘出现的虚拟概念，本质上文件对应的就是硬盘，硬盘是无法被修改的，一次本质上来说文件是无法被修改的，我们看到的文件的内容可以被修改的原因是：将硬盘中的文件读入内存，在内存中修改之后再覆盖回硬盘。实现的方式有两种：

第一种，将文件中的数据一次性全部读入内存，在内存中修改完成后再覆盖回原文件

'''
优点：文件修改过程中只有同一份数据
缺点：内存占用过多
'''
# 先读入内存
with open('db.txt',mode='rt',encoding='utf-8') as f:
    data=f.read()
# 修改内存中的数据
with open('db.txt',mode='wt',encoding='utf-8') as f:
    f.write(data.replace('xxx','python'))

第二种，以读的方式打开一个文件，以写的方式打开另一个文件，一行一行读取原文件，修改后写入新文件

'''
优点：不会占用过多的内存
缺点：需要借助临时文件
'''
import os  # 需要借助os模块进行删除文件和文件重命名操作
 
with open('old.txt',mode='rt',encoding='utf-8') as read_f,\
        open('new.txt',mode='wt',encoding='utf-8') as wrife_f:
    for line in read_f:
        wrife_f.write(line.replace('python','xxx'))
 
os.remove('old.txt')   # 删除未修改的文件
os.rename('new.txt','old.txt')  # 将新文件重命名为和旧文件相同的名字

practice

r模式---使用文件存储用户名密码，实现登陆功能

username = input('please input your username:').strip()
password = input('please input your password:').strip()
with open(r'F:\FullStack\Python_based\info', 'r', encoding='utf-8') as f:
    for line in f:
        info = line.strip('\n')  # 去掉每一行后面的换行符，默认文件中每换一行，每行后面都会有换行符
        name, pwd = info.split(':')  # 解压赋值
        if username == name and password == pwd:
            print('successful!')
    else:  # 要循环完成所有信息之后才知道用户名和密码是否正确
        print('invalid username or password!')

a模式---使用文件存储用户名密码，实现注册功能

username = input('please input your username:').strip()
password = input('please input your password:').strip()
with open(r'F:\FullStack\Python_based\info', 'a', encoding='utf-8') as f:
    info = f'{username}:{password}\n'
    f.write(info)

t/b模式---实现文件拷贝工具

src_path = input('Please enter the path where you want to copy the file:')
target_path = input('please enter the target path:')
with open(r'{}'.format(src_path), mode='rb') as f,\
        open('{}'.format(target_path), mode='wb') as f1:
    for line in f:
        f1.write(line)