python去重txt文本_Python实现的txt文件去重功能示例

本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：

# -*- coding:utf-8 -*-

#! python2

import shutil

a=0

readDir = "/Users/Administrator/Desktop/old.txt" #old

writeDir = "/Users/Administrator/Desktop/new.txt" #new

# txtDir = "/home/Administrator/Desktop/１"

lines_seen = set()

outfile = open(writeDir, "w")

f = open(readDir, "r")

for line in f:

if line not in lines_seen:

a+=1

outfile.write(line)

lines_seen.add(line)

print(a)

print('\n')

outfile.close()

print("success")

其中old.tx如下：

www.jb51.net

www.baidu.com

www.sina.com.cn

www.jb51.net

www.google.com

www.sohu.com

www.jb51.net

www.163.com

运行后new.txt内容如下：

www.jb51.net

www.baidu.com

www.sina.com.cn

www.google.com

www.sohu.com

www.163.com

PS：这里再为大家提供几款相关工具供大家参考使用：

在线去除重复项工具：http://tools.jb51.net/code/quchong

在线文本去重复工具：http://tools.jb51.net/aideddesign/txt_quchong

更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》

希望本文所述对大家Python程序设计有所帮助。

本文标题: Python实现的txt文件去重功能示例

本文地址: http://www.cppcns.com/jiaoben/python/232316.html