【模型api调用】及局域网访问

1、API接口调用

-本机调用的BaseUrl为 http://127.0.0.1:1234/v1

(其中1234为模型开启的端口,根据模型管理中的端口进行对应修改。)

-局域网调用接口为http://ip:1234/v1

-本地模型的模型格式为OpenAI兼容格式,如需在其他程序中调用,请选择OpenAI兼容模型

-key可以随意填写,也可以在模型的启动参数中添加参数"–api-key"

请求格式用例如下:

curl http://127.0.0.1:1234/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer YOUR_API_KEY" -d "{\"model\": \"nova\", \"messages\": [{\"role\": \"user\", \"content\": \"随便说一句话。\"}], \"temperature\": 0.7}"

2、局域网访问

局域网除了可以调用接口,也可以直接访问启动器,地址为: