Python文本去重

#coding:utf-8
import shutil
readDir = "原文件绝对路经"
writeDir = "写入文件的绝对路径"
#txtDir = "/home/fuxueping/Desktop/1"
lines_seen = set()
outfile=open(writeDir,"w")
f = open(readDir,"r")
for line in f:
    if line not in lines_seen:
        outfile.write(line)
        lines_seen.add(line)
outfile.close()
print "success"

原文:https://blog.csdn.net/qq_22764813/article/details/73187473

最终结果在在写入文件内容中,没有重复内容。

Katen Doe

Fiime分享

专业分享,共建知识殿堂

猜你喜欢

wave

按 ECS 键退出搜索