heoijin / bilibili-rnak

Bilibili排行榜-爬虫和数据分析实战

二次元属性被稀释，B站还剩什么？

Bilbili排行榜爬虫、数据分析和可视化实战

CSDN主页：https://me.csdn.net/weixin_40679090

系列文章：

• 上篇 - 爬虫篇：https://blog.csdn.net/weixin_40679090/article/details/104393399
• 下篇 - 对比分析和可视化：https://blog.csdn.net/weixin_40679090/article/details/104428838
• 相关性分析篇：正在路上。

文件介绍：

• blbl ：爬虫相关文件
  • scrapy.cfg ：项目的配置文件
  • blbl/blbl ：项目的Python模块，将会从这里引用代码
    • items.py ：项目的目标文件
    • pipelines.py ：项目的管道文件
    • settings.py ：项目的设置文件
    • spiders/ ：存储爬虫代码目录
      • bl.py ：爬虫文件，解析网页
• bilibili.csv: 爬取到的数据
• 数据分析实战部分：
  • 全站综合评分top100系列
    • 各分区占比情况可视化.py
    • 各分区平均情况数据处理.py
    • 平均三连情况可视化.py
    • 平均播放量情况可视化.py
  • 各区top100系列
    • 各分区播放量情况.py
    • 各分类情况.csv
  • 数据预清洗
  • 热门标签.py
  • 热门标签词云.png

bilibili-rnak's Issues

unexpected indent error with unknown file

Traceback (most recent call last):
File "D:\coding\anacoda\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks
result = g.send(result)
StopIteration: <200 https://api.bilibili.com/x/web-interface/archive/stat?bvid=%3Cbuilt-in%20function%20id%3E1Yf4y1174c>

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "D:\coding\anacoda\lib\site-packages\scrapy\utils\defer.py", line 55, in mustbe_deferred
result = f(*args, **kw)
File "D:\coding\anacoda\lib\site-packages\scrapy\core\spidermw.py", line 60, in process_spider_input
return scrape_func(response, request, spider)
File "D:\coding\anacoda\lib\site-packages\scrapy\core\scraper.py", line 152, in call_spider
warn_on_generator_with_return_value(spider, callback)
File "D:\coding\anacoda\lib\site-packages\scrapy\utils\misc.py", line 212, in warn_on_generator_with_return_value
if is_generator_with_return_value(callable):
File "D:\coding\anacoda\lib\site-packages\scrapy\utils\misc.py", line 197, in is_generator_with_return_value
tree = ast.parse(dedent(inspect.getsource(callable)))
File "D:\coding\anacoda\lib\ast.py", line 35, in parse
return compile(source, filename, mode, PyCF_ONLY_AST)
File "", line 1
def Get_detail(self,response):
^
IndentationError: unexpected indent

Key error

File \Bilibili-Rnak-master\blbl\blbl\spiders\bl.py", line 67, in Get_labels
Tags=html['data'] #视频标签数据
KeyError: 'data'
2020-07-29 10:41:16 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.bilibili.com/ranking/all/155/0/30> (referer: None)