huolieniao / cc98

cc98爬虫

前些天有人提出个想法，要八一八心灵，看看都有哪些人在跳。结果这么多天过去了，还没人拿出点东西来，于是我觉得要不新闻我来搞哈哈。 改自 https://github.com/Puhao/ 的cc98爬虫 抓取心灵前n页的帖子，记录到文件中，并用jieba做词频分析，最终结果在cut.txt。与原版相比，不需要mongodb，也没有多线程呵呵呵 主程序go.py

CC98

#爬虫 设定板块的ID号，然后爬虫开始去追踪版面信息，把该板块的每个帖子里，每层楼的发帖者，发帖时间，楼层，发帖内容，改帖子信息存储到MongoDB数据库。

#热词统计 用jieba库统计前20热词

#依赖库

1. Beautifusoup4
   用来解析HTML页面，定位和提取HTML页面里面所需存储的信息。

   pip install beautifulsoup4
   

2. lxml
   Beautifulsoup使用的第三方解析器

   pip install lxml
   

3. jieba
   用于分词
   pip install jieba