2022年 11月 9日

python 爬虫 下载文件

使用requests库

首先还是先分析导出文件的请求，具体分析方法之前笔记有写过。

分析好请求以后，确认需要提交的参数和请求点header信息

  1. import requests
  2.  
  3.  
  4.  
  5. params={
  6.         # 分析请求需要提交的参数，我这里填了一些下载查询条件
  7.  
  8. }
  9.  
  10. headers={
  11.         #分析请求，举几个常用的例子
  12.         ‘Host’：‘10.222.222.222’，
  13.         ‘origin’：‘balabala’，
  14.         ‘referer’：‘refer——action链接’，#如果有的话需要填写，作为防盗链
  15.         ‘User-Agent’：‘伪装浏览器点代理字符串，分析方法我其他笔记有写’
  16. }
  17.  
  18. log_res = requests.post(url = download_action_URL, params = params, headers = headers, cookies = yourcookie, allow_redirects = False)
  19. fp = open("下载文件.et“,"wb")
  20. fp.write(log_res.content) #讲请求内容写入文件
  21. fp.close()

主要是分析请求，将请求返回内容写入到文件，就实现了自动下载文件功能