2022年 11月 5日

python批量下载文件

在已经有文件url的前提下，批量下载文件。

在excel文档中，保存url和文件名/编号。

request读取网页内容，filetype判断文件类型，批量下载保存。

需要安装filetype包：pip install filetype

  1. # -*- coding: utf-8 -*-
  2. """
  3. Created on Mon Feb 22 10:24:35 2021
  5. @author: weisssun
  6. """
  7. import requests
  8. import pandas as pd
  9. import filetype
  10.  
  11. myHeaders = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
  12.  
  13. # 定义文件下载函数 downloadFile
  14.  
  15. def downloadFile(url,savePath):
  16.     # 将网页链接 url，文件夹路径 savePath 作为参数传入
  17.     try:
  18.         webPage = requests.get(url, headers = myHeaders, timeout=5)
  19.         #print(webPage.status_code)
  20.         # 获取网页
  21.         webContent = webPage.content
  22.         # 网页内容
  23.         file_type = filetype.guess(webContent).extension
  24.         # 识别文件类型
  25.         #print(file_type)
  26.         file_path = savePath + fileId + '.' + file_type
  27.         # 根据文件夹路径、文件名id、文件类型，组合文件保存路径
  28.         f = open(file_path, 'wb')
  29.         f.write(webContent)
  30.         # 将网页内容写入保存路径中
  31.         f.close()
  32.     except requests.exceptions.RequestException:
  33.         print(fileId + '超时')
  34.  
  35. # 读取excel表格
  36.         
  37. data = pd.read_excel(r'D:\保存url和文件编号的文档.xlsx')
  38. #data = pd.read_excel(r'D:\保存url和文件编号的文档.xlsx', sheet_name='abc')
  39.  
  40. # 下载文件保存文件夹
  41. savePath = 'D:/文件下载/'
  42.  
  43. for i in data.index:
  44.     fileId = str(data.loc[i, '编号'])
  45.     url = str(data.loc[i, 'url'])
  46.     if url == 'nan':
  47.         continue
  48.     else:
  49.         downloadFile(url,savePath)