python读取几个G的csv文件方法

yipeiwu_com7年前Python基础

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))
 

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python对文件和目录进行操作的方法(file对象/os/os.path/shutil 模块)

使用Python过程中,经常需要对文件和目录进行操作。所有file类/os/os.path/shutil模块时每个Python程序员必须学习的。 下面通过两段code来对其进行学习。 1...

python读取目录下最新的文件夹方法

如下所示: def new_report(test_report): lists = os.listdir(test_report) # 列出目录的下所有文件和文件...

基于Django URL传参 FORM表单传数据 get post的用法实例

POST和GET是web开发中常用的表单交互方法,是构建web前后端交互系统的顶梁柱,现将Django中的简单用法示例记录下来,以供后续查询和其他同学参考 1.URL传参 #前端ht...

Pycharm 设置默认头的图文教程

Pycharm 设置默认头的图文教程

1. 设置的路径是File->settings->Editor->File and Code Templates->Python Script内容见图: 这样新...

Python下rrdtool模块的基本使用方法

最近需要用python根据收集到的数据进行绘图,决定使用rrd数据库,然后配合rrdtool来绘图,故学习一下rrdtool的用法。 用法如下: 创建: create(...) crea...