Python 逐行分割大txt文件的方法

yipeiwu_com5年前Python基础

代码如下所示:

# -*- coding: <encoding name> -*-
import io
LIMIT = 150000
file_count = 0
url_list = []
with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f:
  for line in f:
    url_list.append(line)
    if len(url_list) < LIMIT:
      continue
    file_name = str(file_count)+".sql"
    with io.open(file_name,'w',encoding='utf-16') as file:
      for url in url_list[:-1]:
        file.write(url)
      file.write(url_list[-1].strip())
      url_list=[]
      file_count+=1
if url_list:
  file_name = str(file_count) + ".sql"
  with io.open(file_name,'w',encoding='utf-16') as file:
    for url in url_list:
      file.write(url)
print('done')

Python从txt文件中逐行读取数据

非常的简单,提供三种方法:

方法一:

f = open("foo.txt")       # 返回一个文件对象 
line = f.readline()       # 调用文件的 readline()方法 
while line: 
  print line,         # 后面跟 ',' 将忽略换行符 
  # print(line, end = '')   # 在 Python 3中使用 
  line = f.readline() 
 
f.close() 

方法二:

for line in open("foo.txt"): 
  print line, 

方法三:

f = open("c:\\1.txt","r") 
lines = f.readlines()#读取全部内容 
for line in lines 
  print line 

总结

以上所述是小编给大家介绍的Python 逐行分割大txt文件,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对【听图阁-专注于Python设计】网站的支持!

相关文章

Python将json文件写入ES数据库的方法

Python将json文件写入ES数据库的方法

1、安装Elasticsearch数据库 PS:在此之前需首先安装Java SE环境 下载elasticsearch-6.5.2版本,进入/elasticsearch-6.5.2/bin...

python logging添加filter教程

例子一 def filter(self, record): """Our custom record filtering logic. Built-in filter...

python 制作自定义包并安装到系统目录的方法

python 制作自定义包并安装到系统目录的方法

python 中的包的概念跟c++中的namespace很相似,在大型的工程开发中,多个开发人员很容使用相同的函数名,为了避免相同函数名带来的问题,就引入了包的概念。 在看别人写的程序中...

python杀死一个线程的方法

最近在项目中遇到这一需求: 我需要一个函数工作,比如远程连接一个端口,远程读取文件等,但是我给的时间有限,比如,4秒钟如果你还没有读取完成或者连接成功,我就不等了,很可能对方已经宕机或者...

使用 Python 合并多个格式一致的 Excel 文件(推荐)

使用 Python 合并多个格式一致的 Excel 文件(推荐)

一 问题描述 最近朋友在工作中遇到这样一个问题,她每天都要处理如下一批 Excel 表格:每个表格的都只有一个 sheet,表格的前两行为表格标题及表头,表格的最后一行是相关人员签字。最...