python读取几个G的csv文件方法

yipeiwu_com5年前Python基础

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))
 

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python读取word文档,插入mysql数据库的示例代码

python读取word文档,插入mysql数据库的示例代码

表格内容如下: 1、实现批量导入word文档,取文档标题中的数字作为编号 2、除取上面打钩的内容需要匹配出来入库入库,其他内容全部直接入库mysql # wuyanfeng # -...

pytorch 模型可视化的例子

pytorch 模型可视化的例子

如下所示: 一. visualize.py from graphviz import Digraph import torch from torch.autograd import...

Python遍历目录中的所有文件的方法

os.walk生成器 os.walk(PATH), PATH是个文件夹路径,当然可以用.或者../这样啦. 返回的是个三元元组为元素的列表, 每个元素代表了一个文件夹下的内容.第一个就是...

收藏整理的一些Python常用方法和技巧

1. 逆转字符串的三种方法 1.1. 模拟C++中方法, 定义一个空字符串来实现 通过设置一个空字符串, 然后讲参数中的字符串从后往前遍历, 使用字符串的加法合并为新的字符串 复制代码...

详解Python实现进度条的4种方式

详解Python实现进度条的4种方式

这里只列举了部分方法,其他方法或python库暂时还没使用到 1.不用库,直接打印: 代码样例: import time #demo1 def process_bar(percent...