Yi-34B 需要的资源是多少？ about yi

[wangye01inf]

@xgysigned 4090/3090 的显存应该在 24 GB，34B 参数以 float16/bfloat16 加载需要 34 GB*2=68 GB 左右显存，需要上多卡

多卡可以考虑使用仓库中的 TP Demo：https://github.com/01-ai/Yi/blob/main/demo/text_generation_tp.py

也可以考虑使用 vllm/llamacpp 等社区开源的推理框架的一些特性来进一步降低显存的需求以及提升推理性能：

• vllm-project/vllm#1567
• ggerganov/llama.cpp#3943

[crapthings]

let's find out

[crapthings]

3 块48g或者a100 80g的够不够不知道

[crapthings]

[ericjank]

真有钱

[ericjank]

3 块48g或者a100 80g的够不够不知道

哈尔滨的朋友？

[xihajun]

可以考虑支持autotrain-advanced，似乎支持int4推理

[xain]

希望量化后的版本支持24G显卡。

[waltcow]

希望量化后的版本支持24G显卡。

[m1105550]

卡一個量化後版本

[Samge0]

4块2080ti魔改22g的显卡（22g*4=88g）可以跑吗？目前我有两块

[AmeowCAT]

4bit量化版本应该正好支持24G显存的显卡

[255doesnotexist]

q4_k_s is suitable for deploying on Tesla P40 (24G VRAM).