[BUG] 使用最新的镜像1.0.9并且下载了最新的模型（20240116），报错Triton Inference Error (error_code: 4) about qanything

[cloader]

[hetaoist]

容器使用1.0.8版本跑报错然后也用1.0.9，然后遇到同样的问题，GPU模型是V100(32GB)

[yydxlv]

A100 GPU 遇到同样问题，能解决吗？

[Nydaym]

A100 GPU 遇到同样问题，能解决吗？

试试回退模型试试，我A800也遇到这个问题了，后面回退就好了，你也可以试试。

[rookiexiao123]

2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。

我下载master的代码，和v1.1.1的代码。尝试了将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8，1.1.1，1.1.0，1.0.7，都没有成功。要不就是问问题，显示出错了；要不就是Triton Inference Error (error_code: 4)；要不一直卡在The triton service is starting up, it can be long... you have time to make a coffee :)。 之后在v1.1.1的代码上按照
，换掉它的模型，成功运行起来。但是效果和网站上的效果还不一致，得再看看。

[fredfany]

是的，确实很久，但是最终能成功

[zhlmi]

确实是这个问题

[deTian0]

遇到同样的问题了，插眼

[hanbon]

我也插眼

[qixingke]

我也遇到同样的问题 咋解决呢

[YinSonglin1997]

v1.1.0也遇到了同样的问题

[RocPeng]

一样遇到这个问题，有朋友解决了吗，GPU是V100(32GB)

[cloader]

一样遇到这个问题

[rookiexiao123]

2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。

[liduang]

2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。

我下载master的代码，和v1.1.1的代码。尝试了将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8，1.1.1，1.1.0，1.0.7，都没有成功。要不就是问问题，显示出错了；要不就是Triton Inference Error (error_code: 4)；要不一直卡在The triton service is starting up, it can be long... you have time to make a coffee :)。 之后在v1.1.1的代码上按照 ，换掉它的模型，成功运行起来。但是效果和网站上的效果还不一致，得再看看。

我和你的做法一样，换掉模型能跑通，但是效果和网站上的明显差一些。我刚试了昨天新发布的v1.2.0，也是一样的问题。我是A800

[fredfany]

有没有遇到在进行模型回退的时候git命令卡住的情况呢
git reset --hard 79b3da3bbb35406f0b2da3acfcdb4c96c2837faf

2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。

我下载master的代码，和v1.1.1的代码。尝试了将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8，1.1.1，1.1.0，1.0.7，都没有成功。要不就是问问题，显示出错了；要不就是Triton Inference Error (error_code: 4)；要不一直卡在The triton service is starting up, it can be long... you have time to make a coffee :)。 之后在v1.1.1的代码上按照 ，换掉它的模型，成功运行起来。但是效果和网站上的效果还不一致，得再看看。

我也是A800，按照这个方法可以解决，效果对比还需要继续观察，感谢！

[Nydaym]

有没有遇到在进行模型回退的时候git命令卡住的情况呢 git reset --hard 79b3da3bbb35406f0b2da3acfcdb4c96c2837faf

2024.1.30， A100，也遇到了这个错误Triton Inference Error (error_code: 4)，最新的代码，版本是1.1.1。

我下载master的代码，和v1.1.1的代码。尝试了将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8，1.1.1，1.1.0，1.0.7，都没有成功。要不就是问问题，显示出错了；要不就是Triton Inference Error (error_code: 4)；要不一直卡在The triton service is starting up, it can be long... you have time to make a coffee :)。 之后在v1.1.1的代码上按照 ，换掉它的模型，成功运行起来。但是效果和网站上的效果还不一致，得再看看。

我也是A800，按照这个方法可以解决，效果对比还需要继续观察，感谢！

这个回退挺久的，得等等

[Ikaros-521]

插眼

[xiaobin-zhang]

我是用A800 , 代码使用 1.2.0，qanything 镜像使用 v1.1.1, models 使用git reset --hard 79b3da3bbb35406f0b2da3acfcdb4c96c2837faf回退后的，启动没有成功，依然报：Triton Inference Error (error_code: 4)

[bestlee666]

A100 显存80G, 用 freeren/qanything:v1.2.1, 同样的问题，求解。。。

[ziwend]

使用最新的代码，同样报错，根据FAQ切换到vllm后端解决了
https://github.com/netease-youdao/QAnything/blob/master/FAQ_zh.md#%E9%80%89%E6%8B%A9qwen-7b-qanything%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%90%AF%E5%8A%A8%E5%9C%A8%E5%89%8D%E7%AB%AF%E9%A1%B5%E9%9D%A2%E8%BE%93%E5%85%A5%E9%97%AE%E9%A2%98%E5%90%8E%E8%BF%94%E5%9B%9E%E7%BB%93%E6%9E%9C%E6%8A%A5%E9%94%99triton-inference-error-error_code-4