关于用python 保存 大文件操作

笔墨纸砚

我在保存大的PDF 文件过程中 因为文件数据太大 保存过程较为缓慢。应该怎么修改呢 ？请大哥们赐教一下。

[Python] 纯文本查看 复制代码

with open(file_name + '.pdf', 'wb') as f:
    for data in res.iter_content(chunk_size=1024*10, decode_unicode=False):
        f.write(data)
        downl_size += len(data)
        if not tot_size == downl_size:
            print('正在下载')
        else:
            f.close()

实力文件：https://sci.bban.top/pdf/10.1515/pac-2015-0305.pdf

qianshang666

一个文件的话.2_3M也不算太大，文件多的话，可以使用多线程下载

Hatsune_miku

[Python] 纯文本查看 复制代码

with open(file_name + '.pdf', 'wb') as f:
    for data in res.iter_content(chunk_size=1024*10, decode_unicode=False):
        if data:
            f.write(data)
    f.close()

你写的没毛病

小小北辰

你也再爬scihub的网站嘛,最近我工作也在爬这个,爬了几百万了,你这样写没问题,应该没有其他更快的方法了

笔墨纸砚

小小北辰 发表于 2021-3-14 11:30
你也再爬scihub的网站嘛,最近我工作也在爬这个,爬了几百万了,你这样写没问题,应该没有其他更快的方法了

可是保存到桌面的速度很慢 有没有其他办法呀

小小北辰

笔墨纸砚 发表于 2021-3-14 13:58
可是保存到桌面的速度很慢 有没有其他办法呀

我现在用异步,外国代{过}{滤}理的方式,还是挺快的,200并发一分钟可以爬取120个pdf文件