cl0udg0d / fofa-script

Fofa爬虫

Fofa-python-脚本

该代码已不支持最新版本fofa，请移步 Fofa-hack

起因

使用关键字在fofa上查询后，手动测试fofa上面每一个链接，并且进行漏洞测试着实麻烦，但fofa的API又是要收费的，所以很容易会想到使用爬虫进行链接爬取

简介

基于python3的fofa爬取

爬取的链接会存储在hello_world.txt

默认每隔5秒爬取一页数据

下载

git clone https://github.com/Cl0udG0d/Fofa-script

使用

配置config.py中的cookie

运行fofa.py

python3 fofa.py

原理

https://www.cnblogs.com/Cl0ud/p/14324445.html

logo

         /$$$$$$$$ /$$$$$$  /$$$$$$$$ /$$$$$$                                   
        | $$_____//$$__  $$| $$_____//$$__  $$                                  
        | $$     | $$  \ $$| $$     | $$  \ $$                                  
        | $$$$$  | $$  | $$| $$$$$  | $$$$$$$$                                  
        | $$__/  | $$  | $$| $$__/  | $$__  $$                                  
        | $$     | $$  | $$| $$     | $$  | $$                                  
        | $$     |  $$$$$$/| $$     | $$  | $$                                  
        |__/      \______/ |__/     |__/  |__/         
                                    /$$$$$$            /$$       /$$                    
                           /$$__  $$          |__/      | $$                    
                          | $$  \__/  /$$$$$$  /$$  /$$$$$$$  /$$$$$$   /$$$$$$ 
                          |  $$$$$$  /$$__  $$| $$ /$$__  $$ /$$__  $$ /$$__  $$
                           \____  $$| $$  \ $$| $$| $$  | $$| $$$$$$$$| $$  \__/
                           /$$  \ $$| $$  | $$| $$| $$  | $$| $$_____/| $$      
                          |  $$$$$$/| $$$$$$$/| $$|  $$$$$$$|  $$$$$$$| $$      
                           \______/ | $$____/ |__/ \_______/ \_______/|__/      
                                    | $$                                        
                                    | $$                                        
                                    |__/                                        
                            
                                                                            version:1.0

更新日志

• 2021-4-4 对最新版fofa更新做出对应更新，注意：config.py文件中不再是以cookie来进行保证登录，而是使用Authorization，Authorization的值可以登录后F12在https://api.fofa.so/v1/search网址请求头中看到

• 2021-8-28 对 issue5 提出的问题进行修改

  感谢 yq1ng 指出问题与解决方案

• 2022-2-26 由于众所周知的原因，原fofa.so网址已无法查询，更改爬取网站为fofa.info，配置config文件中的cookie进行使用即可（cookie的位置打开F12查看请求头即可看到）

cookie的位置如下

• 2022-11-12 更新爬取规则

• 2022-12-4 新增cookie可用性检测函数,cookie不可用时会直接退出程序

END

建了一个微信的安全交流群，欢迎添加我微信备注进群，一起来聊天吹水哇，以及一个会发布安全相关内容的公众号，欢迎关注 :)

fofa-script's Issues

helloworld.txt不是热更新吗

fofa is using cookies

I cant find Authorization on headers only cookies

师傅，现在已经获取不到了

Authorization找不到

Authorization的api.fofa.so没有看到发起请求啊，是在哪里呀

当总页数小于5的时候会报错

爬取总页数小于5的时候会报错：IndexError: list index out of range
建议修改 fofa.py 第 17 行 为 pagenum=tree.xpath('//li[@class="number"]/text()')[-1]

pagenum[0]错误的问题的原因是fofa如果当前只有一页的话是不会显示页数的，从而导致返回的列表为空

现在还能使用嘛？

测试了一下，无法下载～～

找不到Authorization的值呀

如题……