python读取几个G的csv文件方法

yipeiwu_com6年前Python基础

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))
 

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

在pytorch中对非叶节点的变量计算梯度实例

在pytorch中对非叶节点的变量计算梯度实例

在pytorch中一般只对叶节点进行梯度计算,也就是下图中的d,e节点,而对非叶节点,也即是c,b节点则没有显式地去保留其中间计算过程中的梯度(因为一般来说只有叶节点才需要去更新),这样...

python实现k均值算法示例(k均值聚类算法)

简单实现平面的点K均值分析,使用欧几里得距离,并用pylab展示。 复制代码 代码如下:import pylab as pl #calc Euclid squiredef calc_e_...

Python实现批量修改图片格式和大小的方法【opencv库与PIL库】

Python实现批量修改图片格式和大小的方法【opencv库与PIL库】

本文实例讲述了Python实现批量修改图片格式和大小的方法。分享给大家供大家参考,具体如下: 第一种方法用到opencv库 import os import time import...

Python实现调用另一个路径下py文件中的函数方法总结

Python实现调用另一个路径下py文件中的函数方法总结

本文实例讲述了Python实现调用另一个路径下py文件中的函数方法。分享给大家供大家参考,具体如下: 针对这个问题,网上有很多的解决方式。其实最主要的原因是因为Python无法正确找到你...

python中类的输出或类的实例输出为<__main__类名 object at xxxx>这种形式的原因

python中类的输出或类的实例输出为<__main__类名 object at xxxx>这种形式的原因

原因: __str__()这个特殊方法将对象转换为字符串的结果 效果图: 代码:  # 定义一个Person类 class Person(object): """人类...