fioralove / net-spider Goto Github PK

看了大多数貌似都不能用啊 直接代码执行 是我执行的姿势不对么

请问一下，当前所有的脚本的依赖包及其版本

链接如下：https://video.weibo.com/show?fid=1034:4754908759654500

【哔哩哔哩】视频下载三种方式：

• 模拟手机端请求，视频链接就添加在源码中。（最简单、但清晰度不好）
• 通过调用别人的接口来下载视频。（根据接口的破解难度而定，可选择清晰度，不过最高的清晰度仅为未登录时能观看的最大清晰度）
• 直接通过B站的网页版来抓取。（难度稍大，不过清晰度很好，有大会员的话，能下载4K视频）

没有找到无水印的的视频接口，或许B站不对外提供无水印的视频地址

之前的api可能是因为 快手 更新的缘故，解析出来的短视频有水印了，故今天重构api

快手解析异常 Need captcha 需要验证码~

希望大佬能增加小红书、快手图集去水印下载功能，感谢！

• 目标网址： https://y.qq.com/
• 完成目标：搜索关键词，同级目录下，按关键词分别下载保存
• 今日美图：
  

西瓜的只有例子里的可以解析 画个链接就解析不了呢？

• 网页url：http://www.ikanfan.com/dongman/

• 涉及到的知识点：M3U8视频文件与ts切片

• 今日美图：
  

vip歌曲的url在使用移动端时爬取不下来啊，爬取下来不显示vip的url

但，我看到 其他解析的站点。还是可以 做到去水印。不知道算法是什么？
http://xhslink.com/D28SGb

有水印
http://v.xiaohongshu.com/69cff08457e7f866d66fdf31410cb70396eec834_r_ln?sign=ffbd5ddbcaeb4d580e18e69bcc393de3&t=60576d80

无水印
http://sns-video-hw.xhscdn.com/526a436300c8dcb0df2072bad28d0bf9a843fa03_r_ln

• 目标网址：https://www.manhuatai.com/
• 目标内容：下载搜索的漫画详情
• API：尽可能说明所涉及的API使用说明

建议大佬把去水印的接口聚合一起，一个地址访问就可以自动识别是哪个平台的地址，不用手动选择

完整返回内容：
{"category":"def_count_auth_enforced","information":"Unauthorized","message":{"title":"请登录后查看更多内容","content":"请登录后查看更多内容"}}
还有 header 里的 XID 是干嘛用的

bilibili的视频下不了,,不知道是否跟地址有关,网页分享跟手机分享的地址是不一样的,,,但两个地址都是了一下都不可以

哥哥 b站能去水印吗

就算你注释了 我会用算我输.jpg

将所有的接口抽象为同一个接口，提供统一的调用。

通过不同的参数调用不同平台的接口，比如 参数设置为 抖音，则调用抖音可用的接口（将接口按照可信度排序，根据可信度优先调用）。

美拍换个链接解析后是带水印的

• 事情描述：当在QQ上看到 @ravizhan 发给我的【小红书】无水印解析失效 时，我使用的是自己的手机IOS14+Fiddler Everywhere，发现差不多有十几个参数，而且都是缺一不可，心烦意乱。强扭的瓜不甜，我就准备回顾一下之前的皮皮虾解析，偶然中发现了皮皮虾的无水印

• 皮皮虾：皮皮虾的短视频【推荐】板块是每次post请求，返回6条数据，滑动6个视频后会重新请求，根据这个api好像不能查询某个具体的视频，于是我就点击详细页，发现了评论的api中找到了这个无水印的短视频URL。美中不足的是：假如某个视频是没有评论的，返回的就是一个空数组

大佬有计划把解析接口 增加PHP版本吗？PHP版本放在服务器里比较方便，感谢！

• 目标网站： 扑飞漫画
• Eval原理：https://www.cnblogs.com/syp1/p/5436304.html
• 今日美图：

小鸡词典爬虫现在可以用吗，会不会被网站限制访问

任务：

将之前所做的爬虫项目放在GitHub上