本地大模型部署配置
你可以让 Mystilink 连接在本机运行的兼容模型服务。本地模型需要自行安装、下载和运行;Mystilink 中保存连接配置,不会自动替你安装模型或准备 GPU 环境。
先区分本机、局域网与云端
localhost 或 127.0.0.1 指运行 Mystilink 的这台电脑。局域网地址指另一台机器,不属于同一设备内处理。部分本地模型工具也提供云模型;使用这样的工具名称,不代表实际推理发生在本机。
想让推理保持在本地,需要同时确认所选模型在本机执行、地址指向本地服务,并关闭或移除云端回退。账户、授权等在线功能仍有各自的联网要求。
Ollama
按 Ollama 官方说明 安装并启动服务,先下载一个适合本机、支持所需工具能力的模型。以服务实际显示的模型 ID 为准,不要直接照抄其他人的模型标签。
在 Mystilink 中创建自定义 Provider,界面中的「API 协议族」使用 openai-compatible,本机默认地址示例为 http://localhost:11434/v1。若服务地址或端口被改过,填写自己的实际值。Ollama 本地兼容接口的示例使用占位 Key ollama;这不是 Mystilink 账户密码,也不是安全访问控制。
测试连接并添加准确模型 ID,保存后设为主模型。连接成功后还需验证一段对话和需要工具的实际流程。
LM Studio
在 LM Studio 中加载适合设备的模型并启动本地服务器,按 官方兼容接口文档 获取地址与模型标识。
如果服务端口为 1234,兼容前缀示例为 http://localhost:1234/v1;端口不是固定要求。按当前服务器的认证设置填写 Key,不要将所有本机服务都视为无需认证。
在 Mystilink 中按自定义 Provider 流程添加,填写实际模型 ID,再测试对话。只下载了模型、没有启动服务器,桌面端仍无法连接。
保存前核对
| 检查项 | 原因 |
|---|---|
| 服务正在运行、地址可访问 | 模型工具界面打开,不等于 API 服务已开启 |
| 模型已加载且 ID 正确 | 文件名称、显示名称与 API ID 可能不同 |
| 具备所需工具调用能力 | 普通聊天成功不代表 Agent 工具流程可完成 |
| 上下文能容纳当前任务 | 历史对话、盘面和工具输出会占用上下文 |
| 主模型与回退配置正确 | 避免本地失败后自动转向云服务 |
性能与故障
本地表现取决于模型大小、量化、上下文和可用硬件,没有适用于所有模型的固定内存数字。先按部署工具说明选择可运行的模型;长对话变慢时,可缩小任务范围或新建独立对话。
- 连接被拒绝:检查服务器是否启动、端口是否正确,
localhost是否指向预期机器。 - 找不到模型:从服务当前列表复制模型 ID,并确认已下载或加载。
- 能聊天但工具报错:核对模型与接口的工具调用支持,而非反复更换 Key。
- 换电脑后失败:旧机模型和服务器不会随 Mystilink 工作区自动搬迁。
不要为了排查把无认证服务直接暴露到公网。需要局域网部署时,由你管理的服务配置认证和访问范围,并确认传输路径。