大模型性能测试2

大模型的压测都是对流式接口进行测试，大多是调用 sse，websock 和 openai sdk 这 3 种形式。流式接口就好像是在调用异步接口一样（很像），需要我们通过轮询的方式去分析每一个传回来的包并做分析，如果是 openai sdk 的接口，那么交互起来还比较方便，因为 sdk 里把很多东西都封装好了。 而如果是 websocket 和 sse 则比较麻烦，需要去分析包的内容来判断哪些是思考包，哪些是答案包，哪些是统计包，哪些是心跳包。处理起来就麻烦了很多。 为了简单，我这里还是用 openai sdk 的格式给大家写个 demo：