好像不太行。。。参数量太大了,内存罩不住。。。目前看魔搭上没啥好的量化模型。
27B还是星核甜点
已经加入了 novamax里面有 ,但是一直报Error occurred during execution of model: DeepSeek-V4-Flash-IQ2XXS.gguf. Reason: Field ‘max_tokens’: [json.exception.type_error.302] type must be number, but is null (Details: C:\Users\chen\AppData\Local\Temp\novapaw_query_error_xff0ylg1.json) 现在论坛反正是没人解答,我也不知道怎么弄。
我尝试了很多次,还是不行。不知道怎么搞。。。