[功能]: 改变默认的 max tokens 的数量 #3763
Replies: 8 comments 1 reply
-
|
也存在一个手动的解决方法:就是打开限制 然后填一个很大的数字。然而 这只是一种「迂回」的方式,无法真正的解决问题。 |
Beta Was this translation helpful? Give feedback.
-
|
肯定不能以Claude为准,其他供应商的模型还是4k输出呢 |
Beta Was this translation helpful? Give feedback.
-
|
看你把 API 地址打码了,用的不是 Anthropic 官方的 API 吧,那你应该去看一下服务商的文档 |
Beta Was this translation helpful? Give feedback.
-
对的 不是官方 api 但是是官方的中转 调用的方法和官方是一致的 |
Beta Was this translation helpful? Give feedback.
-
嗯嗯 我能理解将 max tokens 调大是一种选择 然而 目前的选项名称是「开启消息最大限制」 这个设置是默认关闭的 那么用户想着就是:只要我把它关闭了 就不会被截断了。但是并不是这样的 所以是否能优化一下呢? 例如将这个改成一个默认的填空或者滑块 默认填入 4096,这样能让用户清楚的知道最大是 4096 而不是「客户端存在无限的单次回答大小」 又例如针对不同的模型进行限制? |
Beta Was this translation helpful? Give feedback.
-
我认为用户希望回答不被截断的话,应该是主动去打开这个选项 默认值应该兼容大多数模型,支持 4096 的多,8k 的模型反而少了
我个人是觉得不要把简单的问题弄得太复杂,显示默认值是可以考虑的选项,但针对不同模型进行限制就没啥太大必要 |
Beta Was this translation helpful? Give feedback.
-
我支持显示默认值 我遇到好几个人被截断 然后问是不是中转站做限制了 事实上是软件的 max tokens 的限制 甚至我一开始也不知道 我查了源代码才知道做了限制 |
Beta Was this translation helpful? Give feedback.
-
|
可以自己手动添加 max tokens |
Beta Was this translation helpful? Give feedback.


Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
-
提交前检查
平台
macOS
版本
v1.0.12
您的功能建议是否与某个问题/issue相关?
当选择关闭「开启消息长度限制」时,还是会在默认 输出了 4096 tokens 后截断。(Claude 的原生分组)
然而,根据 claude 的文档:
All models overview - Anthropic
3.7 的正常 max tokens 数量时 8192 tokens,因此默认的 4096 已经是不够用的,建议拓展为 8192。
我们的共识:当用户关闭这个选项的时候,其实是不希望回答被截断的,我甚至认为可以设置一个特别大的值?(只要是模型可以接受?)
请描述您希望实现的解决方案
将默认的 4096 改成 8192
或者就不要设置 max tokens ?我不太清楚是不是有些模型必须填一个 max tokens
请描述您考虑过的其他方案
No response
其他补充信息
No response
Beta Was this translation helpful? Give feedback.
All reactions