Need token usage when stream is true about bedrock-access-gateway

[ucasiggcas]

have the same problem

[daixba]

This is already supported. Make sure you have the following in your request.

    "stream": true,
    "stream_options": {"include_usage": true},

[ucasiggcas]

这个响应是不是不太对啊，等了几秒，后面直接出来一大坨
@daixba

[daixba]

参考： https://platform.openai.com/docs/api-reference/chat/create

[dftty]

部署readme里的ALB + Fargate这个 @ucasiggcas

[ucasiggcas]

@dftty 这个我早就部署了啊，不然curl也不通的，现在的问题是stream情况下，response响应很慢，具体是curl后等待长时间才有反应，然后data数据一大堆出来了。

[ucasiggcas]

我直接将curl的东西放终端测试的，响应就是慢，不及gpt-4o

[dftty]

readme里有两种部署方式ALB + Lambda和ALB + Fargate，第一个流式是等所有数据返回才一次性返回，第二个是正常流式

[ucasiggcas]

感谢，我再建立一个堆栈试试 @dftty

[ucasiggcas]

solved , thx
@dftty