mtp使用说明:
1、需要使用MTP对应的模型才可以生效,目前只支持27B-MTP和35B-MTP模型
2、需要使用MTP的引擎才可以生效,在novamax中下载最新的MTP引擎
mtp对编程、龙虾等固定格式的调用提升很大,但是对写作、问答等提升较小
原因是mtp基于多token预测,编程、工具调用相对更容易预测,而创意性的文字随机程度很高
官方测速用例:
27B-mtp:用js写个贪吃蛇,速度 22t/s,加速幅度300%
35B-mtp:用js写个贪吃蛇,速度75t/s,加速幅度50%