cjladmin / spider_cases

Python爬虫练习案例，循序渐进从入门到进阶

✨个人爬虫练习案例✨

---

入门级爬虫案例

案例名称	快速定位	爬虫所需模块
获取城市实时疫情数据信息	yiqing_data_spider	re、requests
保存喜马拉雅免费音频	ximalaya_audio_spider	requests
获取异步社区所有图书信息	yibu_book_spider	requests、pymongo
爬取房天下全部的楼盘数据	fangtianxia_spider	requests、time、json、lxml、re
获取LOL道聚城皮肤信息	lol_skins_spider	requests、re、time、json
获取LOL全英雄的资料信息	lol_hero_message_spider	requests、json、time
获取CSDN分类的热榜文章	csdn_hot_search_spider	requests、time、json

爬虫进阶案例

案例名称	快速定位	爬虫所需模块
简易的免费IP代理池	simple_ip_proxy_pool	lxml、request、json、random、threading、asyncio、aiohttp
网易云歌曲热门评论	163music_comment_spider	requests、selenium、json
美团美食的店铺信息	meituan_foods_spider	requests、re、time、json、pymongo
优美图库的动漫图片	umeitu_dongman_spider	requests、aiohttp、asyncio、lxml
下载抖音作者视频	douyin_video_spider	re、os、time、requests、selenium
下载B站非会员视频	bilibili_vedio_spider	requests、time、json、subprocess、os
猫眼电影实时数据	maoyan_data_spider	requests、lxml、openpyxl
虎牙在播的所有用户	huya_all_types_spider	threading、requests、json、time、lxml、openpyxl、random
豆瓣年度电影榜单	douban_annual_list_spider	re、time、requests、openpyxl、selenium
拉钩网的招聘信息	lagou_jobs_spider	os、csv、playwright
12306的车次信息	12306_query_spider	requests、json、openpyxl、prettytable
淘宝搜索页商品数据	taobao_commodity_spider	re、time、random、selenium、openpyxl

JS逆向案例

案例名称	快速定位	爬虫所需模块
百度在线翻译接口	baidu_fanyi_spider	requests、execjs
有道在线翻译接口	youdao_fanyi_spider	requests、hashlib、time
东方财富个股人气榜	gupiao_rank_spider	requests、time、json、openpyxl、Crypto、base64

字体反爬案例

案例名称	快速定位	爬虫所需模块
大众点评商铺信息	dianping_font_decrypt	requests、fontTools、json、lxml、re
大众点评评论信息	dianping_comment_spider	requests、lxml、re
汽车之家口碑信息	autohome_wom_spider	requests、lxml、re、fontTools
自如网房价信息	ziroom_message_spider	requests、lxml、re、time、pytesseract、PIL

spider_cases's Issues

12306报错

File "C:\Users\14023\PycharmProjects\12306\run_spider (2).py", line 101, in
trains_data_list = gt.run()
File "C:\Users\14023\PycharmProjects\12306\run_spider (2).py", line 35, in run
res = requests.get(self.url, headers=self.headers, params=self.params).json()
File "C:\Users\14023\anaconda3\lib\site-packages\requests\models.py", line 975, in json
raise RequestsJSONDecodeError(e.msg, e.doc, e.pos)
requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
好像爬不到内容，请问是什么原因？

爬虫案例过期

有很多可能是网站改变了，案例过期有点多