收藏
回答

用wx.cloud.extend.AI对话时,会导致云开发调用次数爆炸?

用云开发的AI功能时,好像会让云开发的调用次数爆炸。例如我用 await model.streamText(...) 向AI发送消息,然后用 for await (let str of res.textStream)

流式接受消息,一轮对话下来,云开发调用次数暴涨几十次,这样还没说几句话,调用次数就上千了,感觉AI对话消耗的调用次数也太多了!比调用云函数、云数据库多多了!

难道AI流式输出的时候,每蹦出一个词都算做一次调用?

调用次数到底怎么统计的?

回答关注问题邀请回答
收藏

3 个回答

  • 智能回答 智能回答 该问答由AI生成
    04-05
    有用 1
  • 胡明
    胡明
    04-07

    streamText是HTTP长连接,一次流式对话会消耗50个调用次数,这种体验比较好,响应快。

    generateText是HTTP短链接,一次对话消耗一个调用次数。但是体验会差一些,响应慢。

    04-07
    有用
    回复
  • Jormungand
    Jormungand
    04-05

    不再用model.streamText,改用model.generateText,希望这种非流式输出可以减少云开发调用次数

    04-05
    有用
    回复
登录 后发表内容