jishuliu6 / spider-project

爬虫实操项目合集代码及分析

Spider-Project

爬虫实操项目合集代码及分析

目的：

• 万变不离其宗

• 在这个项目里，本人会分享一些自己做的爬虫项目，在整理自己学习过程的同时，以供大家参考学习指正，以达到相互帮助，共同进步的目的。

• 对于大佬来说小菜一碟，对于大学生期末作业来说刚刚好~

开发语言：

• Python

涉及到的包：

• requests,selenium,lxml,pandas

项目特点：

• 简单易上手，适合初学者，不涉及Scrapy框架及多线程知识，使用新的和简单的方法，摒弃了过时的方法。但对于小项目的数据需求以及个人办公收藏完全够用。该项目下均为入门操作，可能操作繁琐但逻辑简单且易理解，旨在抛砖引玉。

不足之处：

• 显然，此项目目前为止所提供爬虫技术简单且至于表面，正如项目后面描述的1.0，后期随着个人的理解和学习可能会推出较高阶版本。
• 当然，受限于作者本人的学习深度,可能代码或思维会有繁琐与幼稚之处，也望大神能够不吝赐教。

侵权声明：

• 本项目由w-x-x-w制作，展示的所有项目均为个人练习使用，不含任何商业，推广及恶意成分，仅供交流学习。如有项目违反国家政策法规请联系(wx：xqwerasdfzxcvw,qq:2942581284)，我会尽快删除。
• 注意，该项目仅供学习和参考使用，任何非法行为均与项目作者无关。如果您想使用该项目，请遵守相关的法律法规，不要用于非法用途。学习目的请于下载24小时内删除。

目录

C

ChatGPT_bilibili_视频弹幕制作词云

D

抖音视频下载(无水印)1.0

G

公众号文章文本下载1.0

H

何同学视频弹幕爬取制作词云1.0

虎牙热舞视频爬取1.0

M

每日一文爬取

Q

七猫小说排行榜爬取及可视化

S

三方接口

W

wallhaven图片爬取1.0

wallhaven图片爬取1.5

问卷星seleniu批量填写1.0

Y

一言生成短语

Z

知乎评论爬取及分析

自建优质爬虫代理池

**省份城市中英文映射表

数据类

澎湃新闻标题58460条 虎嗅新闻新闻标题87217条 原子回声1091条问答对