模型上下文不够怎么办,例如运行时报exceeds the available context size (120064 tokens), try increasing it
这类的错误
可以在模型管理的模型设置中,修改-c后面的参数,调大就可以
或者在novamax中,在模型的设置里修改上下文,注意,并发会减少单个进程的上下文长度
模型上下文不够怎么办,例如运行时报exceeds the available context size (120064 tokens), try increasing it
这类的错误
可以在模型管理的模型设置中,修改-c后面的参数,调大就可以
或者在novamax中,在模型的设置里修改上下文,注意,并发会减少单个进程的上下文长度