使用python读取txt文件的内容,并删除重复的行数方法

yipeiwu_com5年前Python基础

注意,本文代码是使用在txt文档上,同时txt文档中的内容每一行代表的是图片的名字。

#coding:utf-8 
import shutil 
readDir = "原文件绝对路经" 
writeDir = "写入文件的绝对路径" 
#txtDir = "/home/fuxueping/Desktop/1" 
lines_seen = set() 
outfile=open(writeDir,"w") 
f = open(readDir,"r") 
for line in f: 
  if line not in lines_seen: 
    outfile.write(line) 
    lines_seen.add(line) 
outfile.close() 
print "success" 

最终结果在在写入文件内容中,没有重复内容。

以上这篇使用python读取txt文件的内容,并删除重复的行数方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python 删除大文件中的某一行(最有效率的方法)

用 python 处理一个文本时,想要删除其中中某一行,常规的思路是先把文件读入内存,在内存中修改后再写入源文件。 但如果要处理一个很大的文本,比如GB级别的文本时,这种方法不仅需要占用...

python如何使用socketserver模块实现并发聊天

这篇文章主要介绍了python如何使用socketserver模块实现并发聊天,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 利用so...

python逆向入门教程

python逆向入门教程

1、开发环境 我们在Windows 10上开始python逆向之旅,首先开始搭建开发环境,python解释器使用最新的3.6.1,IDE使用PyCharm社区版2017.1.3,下载地址...

使用Py2Exe for Python3创建自己的exe程序示例

使用Py2Exe for Python3创建自己的exe程序示例

最近使用Python 3.5写了一个GUI小程序,于是想将该写好的程序发布成一个exe文件,供自己单独使用。至于通过安装的方式使用该程序,我没有探索,感兴趣的读者可以自己摸索。 1 介绍...

Python通用函数实现数组计算的方法

一.数组的运算 数组的运算可以进行加减乘除,同时也可以将这些算数运算符进行任意的组合已达到效果。 >>> x=np.arange(5) >>> x...