一、无需登录的网站
1.手动获取
- 1.通过浏览器打开网站
- 2.网页右键检查或F12
- 3.右上找到网络或network
- 4.在xhr下,重新刷新网页
- 5.左键名称下的链接,右侧弹出中headers(标头)中存在cookie
2.requset获取
- import requests
-
- session = requests.session()
- #province省份,creditcode统一社会信用代码,company市场主体(企业名字),cpmc地理标志(特产),
- url_search='https://dlbzsl.hizhuanli.cn:8888/Logo/Result?cpmc='+'五常大米'+'&company=&creditcode='
-
- cookies = session.get(url_search).cookies.get_dict()
- cookie = 'ASP.NET_SessionId'+'='+cookies['ASP.NET_SessionId']
- print(cookies)
- print(cookie)
二、需要登录的网站
- import requests
-
- url = 'https://www.processon.com/login'
- login_email = '283867@qq.com'
- login_password = 'ZZZ0'
- # 创建一个session,作用会自动保存cookie
- session = requests.session()
- data = {
- 'login_email': login_email,
- 'login_password': login_password
- }
- # 使用session发起post请求来获取登录后的cookie,cookie已经存在session中
- response = session.post(url = url,data=data)
-
- # 用session给个人主页发送请求,因为session中已经有cookie了
- index_url = 'https://www.processon.com/diagrams'
- index_page = session.get(url=index_url).text
- print(index_page)
参考链接:
爬虫——cookie模拟登陆
https://blog.csdn.net/gets_s/article/details/115839687
爬虫中获取cookie的方式 – 程序员一学徒 – 博客园 (cnblogs.com)
https://blog.csdn.net/wzyaiwl/article/details/104741543