日志归档

2019年9月发布的文章

Python

继续折腾之超大文件读取入库

阅读(57)评论(0)

最近很头大,1、免费的SSR不稳定 前几天好好的 这几天不知道抽什么风2、有200GB json文件 检索的时候根本打不开,只能入库查询了,适合存储的 redis mongodb  什么分布式啦 这些都不会redis 据说 写入80000/s 还阔以完全不知道从哪下手 硬着头皮干吧分块多线程读取 import threading...

Python

头疼的文件处理(大文件分割)

阅读(97)评论(0)

好久没写文章了,最近一直在研究大文件处理,因为手头有些200g大文件 全是json数据 打开一次要20分钟 内存蹭蹭的上涨。。。这次不搞200g的文件 这次是在渗透测试过程中发现主机扫了一整个a段扫了c段 毛都没发现 b段同理 干脆直接搞a段我也是豁出去了 不怕查水表200w ip保存到文件大概是这样的格式#masscan open icmp 0 x.x.x...

© Theme By 苏ICP备14036222号