博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python编程之处理GB级的大型文件
阅读量:6227 次
发布时间:2019-06-21

本文共 350 字,大约阅读时间需要 1 分钟。

一般我们采取分块处理,一次处理固定大小的块。

 

1 def read_in_chunks(file_obj,chunk_size): 2 """Lazy function (generator) to read a file piece by piece""" 3   while True: 4     data = file_obj.read(chunk_size) 5     if data == "": 6       break 7     yield data 8  9 10 11 file = open(file_path,"rb")12 13 for piece in read_in_chunks(file,chunk_size):14   process_data(piece)

 

转载地址:http://yynna.baihongyu.com/

你可能感兴趣的文章
博客园。侧边公告代码
查看>>
[codevs3118]高精度除法<高精度>
查看>>
学JS的心路历程-闭包closure
查看>>
本周总结
查看>>
苹果企业账号申请
查看>>
Problem O
查看>>
胜利大逃亡
查看>>
畅通工程(并查集找根节点)
查看>>
【工具使用】sublime text3
查看>>
SQL Server查询优化器的工作原理
查看>>
关于成长的一点碎碎念
查看>>
java生成指定范围的随机数
查看>>
Easy ui Datagrid(下拉、复选、只输入数字、文本) 追加、删除、更改
查看>>
20145209刘一阳 《网络对抗》逆向及BOF基础实践
查看>>
Groovy's dynamic mixin
查看>>
2018.10.27-dtoj-3996-Lesson5!(johnny)
查看>>
LCLFramework框架之数据门户
查看>>
python基础-----集合(在我的世界你是唯一)
查看>>
【转】Closeable, Readable, Flushable, Appendable
查看>>
css
查看>>