gospider007 / gospider Goto Github PK

代码如下:

package main

import (
	"context"
	"gitee.com/baixudong/gospider/ja3"
	"gitee.com/baixudong/gospider/requests"
	"log"
)

func main() {
	reqCli, err := requests.NewClient(context.TODO())
	if err != nil {
		log.Panic(err)
	}
	response, err := reqCli.Request(context.TODO(), "get", "https://tools.scrapfly.io/api/fp/ja3?extended=1", requests.RequestOption{Http2: true, Ja3Id: ja3.HelloAndroid_11_OkHttp})
	if err != nil {
		log.Panic(err)
	}
	log.Print(response.Text())
}

报错如下
2023/03/10 16:44:30 Get "https://tools.scrapfly.io/api/fp/ja3?extended=1": remote error: tls: protocol version not supported panic: Get "https://tools.scrapfly.io/api/fp/ja3?extended=1": remote error: tls: protocol version not supported
更换为其他的id则没问题

有时候需要动态Ja3，放在requests里面比较方便

很好用的一个库，感谢作者的付出，不知道大佬后续有无关于自定义ja3指纹的计划:
比方说在requests.RequestOption加入个ja3string参数，使用者即可将获取的标准指纹("771,49195....")填入其中进行伪造。

can you build binary
go build not work and
go get -u gitee.com/baixudong/gospider not work

Doesn't work with resident proxies? It's just that if I run with regular proxies, everything works, but not with resident proxies.)

最近get一个网站的时候发现出现403，查了一下，发现resp返回Vary是Accept-encoding。用检测发送头的网站看了一下，好像req里面的Accept-encoding只有gzip。而网站要求的是要带br。看了一下代码，默认的Accept-encoding是"gzip, deflate, br"，不知道为什么在https://www.whatismybrowser.com/detect/what-http-headers-is-my-browser-sending 检测只有gzip。操作系统是win10，是否跟安装的库有关？

同样使用代理的情况下，总体耗时是正常使用net/http或fasthttp请求耗时的2到3倍，
看了下好像是这里两次handshake耗时比较久，

if err = utlsConn.HandshakeContext(ctx); err != nil {
		if strings.HasSuffix(err.Error(), "bad record MAC") {
			err = tools.WrapError(err, "检测到22扩展异常,请删除此扩展后重试")
		}
	}

有什么优化方案吗