2022年 11月 5日

Python爬虫教程-Python爬取股票数据过程详解

这篇文章主要介绍了基于Python爬取股票数据过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

基本环境配置

  • python 3.6
  • pycharm
  • requests
  • csv
  • time

相关模块pip安装即可

目标网页

分析网页

一切的一切都在图里

找到数据了，直接请求网页，解析数据，保存数据

请求网页

  1. import requests
  2.  
  3. url = 'https://xueqiu.com/service/v5/stock/screener/quote/list'
  4.  
  5. response = requests.get(url=url, params=params, headers=headers, cookies=cookies)
  6.  
  7. html_data = response.json()

解析数据

  1. data_list = html_data['data']['list']
  2.  
  3. for i in data_list:
  4.  
  5. dit = {}
  6.  
  7. dit['股票代码'] = i['symbol']
  8.  
  9. dit['股票名字'] = i['name']
  10.  
  11. dit['当前价'] = i['current']
  12.  
  13. dit['涨跌额'] = i['chg']
  14.  
  15. dit['涨跌幅/%'] = i['percent']
  16.  
  17. dit['年初至今/%'] = i['current_year_percent']
  18.  
  19. dit['成交量'] = i['volume']
  20.  
  21. dit['成交额'] = i['amount']
  22.  
  23. dit['换手率/%'] = i['turnover_rate']
  24.  
  25. dit['市盈率TTM'] = i['pe_ttm']
  26.  
  27. dit['股息率/%'] = i['dividend_yield']
  28.  
  29. dit['市值'] = i['market_capital']
  30.  
  31. print(dit)

保存数据 

  1. import csv
  2.  
  3. f = open('股票数据.csv', mode='a', encoding='utf-8-sig', newline='')
  4.  
  5. csv_writer = csv.DictWriter(f, fieldnames=['股票代码', '股票名字', '当前价', '涨跌额', '涨跌幅/%', '年初至今/%', '成交量', '成交额', '换手率/%', '市盈率TTM', '股息率/%', '市值'])
  6.  
  7. csv_writer.writeheader()
  8.  
  9. csv_writer.writerow(dit)
  10.  
  11. f.close()

 我建立了一个Python学习圈子：1156465813。在彼此的沟通可以我们可以得到很多学习经验，积累知识，群内有2020最新的python学习资料，大家可以一起讨论问题，共同进步。