#转载# python包requests下载大文件

#转载# python包requests下载大文件

requests单线程下载大文件

当使用requests的get下载大文件/数据时,建议使用使用stream模式。

当把get函数的stream参数设置成False时,它会立即开始下载文件并放到内存中,如果文件过大,有可能导致内存不足。

当把get函数的stream参数设置成True时,它不会立即开始下载,当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点:文件没有下载之前,它也需要保持连接。

  • iter_content:一块一块的遍历要下载的内容
  • iter_lines:一行一行的遍历要下载的内容

使用上面两个函数下载大文件可以防止占用过多的内存,因为每次只下载小部分数据。

示例代码:

requests多线程下载(扩展)

  1. 把要下载的文件平均分成几块
  2. 每个线程分别下载对应的块
  3. 把各块写入到文件中相应的位置

示例代码:

转载地址:http://blog.topspeedsnail.com/archives/8462