8.Python生成器-经典应用读取1T大文件_python生成器读取一个1t的文件

作者：羊村懒王 | 2024-05-26 08:02:17

踩

python生成器读取一个1t的文件

有个面试题：
有一个文件大概有1T，并且只有一行，行之间有分隔符，我们需要把文件内的数据一行一行的读取出来，
然后写入数据库里面。

遇到超大文件，不能直接放在内存中，要分段进行读取以减少内存的占用
有人说取行可以用open，然后用for循环。

with open（“file”）as f:
     for i in f.readlines():
        print i 
1
2
3

由于它只有一行，你这样读取会把所有数据读取出来，1T内存谁也承受不了
，这是没有办法做到的。

注意这句话行之间有分隔符，这就是咱们的切入点。

首先解释一个函数 file.read()
1.这个read 函数并不是一次读取所有，可以传入 int 参数，代表读取的

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/625879