跳到主要内容

本地大模型部署配置

你可以让 Mystilink 连接在本机运行的兼容模型服务。本地模型需要自行安装、下载和运行;Mystilink 中保存连接配置,不会自动替你安装模型或准备 GPU 环境。

先区分本机、局域网与云端​

localhost 或 127.0.0.1 指运行 Mystilink 的这台电脑。局域网地址指另一台机器,不属于同一设备内处理。部分本地模型工具也提供云模型;使用这样的工具名称,不代表实际推理发生在本机。

想让推理保持在本地,需要同时确认所选模型在本机执行、地址指向本地服务,并关闭或移除云端回退。账户、授权等在线功能仍有各自的联网要求。

Ollama​

按 Ollama 官方说明 安装并启动服务,先下载一个适合本机、支持所需工具能力的模型。以服务实际显示的模型 ID 为准,不要直接照抄其他人的模型标签。

在 Mystilink 中创建自定义 Provider,界面中的「API 协议族」使用 openai-compatible,本机默认地址示例为 http://localhost:11434/v1。若服务地址或端口被改过,填写自己的实际值。Ollama 本地兼容接口的示例使用占位 Key ollama;这不是 Mystilink 账户密码,也不是安全访问控制。

测试连接并添加准确模型 ID,保存后设为主模型。连接成功后还需验证一段对话和需要工具的实际流程。

LM Studio​

在 LM Studio 中加载适合设备的模型并启动本地服务器,按 官方兼容接口文档 获取地址与模型标识。

如果服务端口为 1234,兼容前缀示例为 http://localhost:1234/v1;端口不是固定要求。按当前服务器的认证设置填写 Key,不要将所有本机服务都视为无需认证。

在 Mystilink 中按自定义 Provider 流程添加,填写实际模型 ID,再测试对话。只下载了模型、没有启动服务器,桌面端仍无法连接。

保存前核对​

检查项原因
服务正在运行、地址可访问模型工具界面打开,不等于 API 服务已开启
模型已加载且 ID 正确文件名称、显示名称与 API ID 可能不同
具备所需工具调用能力普通聊天成功不代表 Agent 工具流程可完成
上下文能容纳当前任务历史对话、盘面和工具输出会占用上下文
主模型与回退配置正确避免本地失败后自动转向云服务

性能与故障​

本地表现取决于模型大小、量化、上下文和可用硬件,没有适用于所有模型的固定内存数字。先按部署工具说明选择可运行的模型;长对话变慢时,可缩小任务范围或新建独立对话。

  • 连接被拒绝:检查服务器是否启动、端口是否正确,localhost 是否指向预期机器。
  • 找不到模型:从服务当前列表复制模型 ID,并确认已下载或加载。
  • 能聊天但工具报错:核对模型与接口的工具调用支持,而非反复更换 Key。
  • 换电脑后失败:旧机模型和服务器不会随 Mystilink 工作区自动搬迁。

不要为了排查把无认证服务直接暴露到公网。需要局域网部署时,由你管理的服务配置认证和访问范围,并确认传输路径。

相关指南:大模型与厂商、兼容供应商、连接问题、隐私说明。