メインコンテンツまでスキップ

ローカルモデルの配備

Mystilink は、自分のパソコンで動く互換モデルサービスに接続できます。ローカルモデルのインストール、ダウンロード、実行は自分で行います。Mystilink は接続設定を保存するだけで、モデルの導入や GPU 環境の準備を代行しません。

まず端末・LAN・クラウドを区別する​

localhost または 127.0.0.1 は Mystilink を動かしているパソコンを指します。LAN のアドレスは別のマシンを指すので、同じデバイス内の処理ではありません。ローカルモデル用ツールの一部はクラウドモデルも提供します。そうしたツール名を使っていても、推論が実際に端末で行われるとは限りません。

推論をローカルに保つには、選んだモデルが端末で動くこと、アドレスがローカルサービスを指すこと、クラウドのフォールバックが無効か削除されていることを同時に確認してください。アカウントやライセンスなどのオンライン機能には、それぞれの通信要件が残ります。

Ollama​

Ollama の公式説明 に従ってサービスをインストールして起動し、端末に合い、必要なツール機能に対応したモデルをダウンロードします。サービスが実際に表示するモデル ID を使い、他の人のモデルタグをそのまま写さないでください。

Mystilink でカスタム Provider を作成し、画面の「API プロトコルファミリー」に openai-compatible を選び、ローカルの既定アドレス例として http://localhost:11434/v1 を入れます。アドレスやポートを変えている場合は自分の実際の値を使ってください。Ollama のローカル互換エンドポイントはプレースホルダーのキー ollama を使います。これは Mystilink のアカウントパスワードでも、アクセス制御でもありません。

接続をテストし、正確なモデル ID を追加して保存し、メインモデルに設定します。接続に成功しても、会話一つとツールが必要な実際の流れを検証してください。

LM Studio​

LM Studio で端末に合ったモデルを読み込み、ローカルサーバーを起動し、公式の互換インターフェース資料 からアドレスとモデル識別子を取得します。

サーバーのポートが 1234 の場合、互換プレフィックスの例は http://localhost:1234/v1 です。ポートは固定要件ではありません。サーバーの現在の認証設定に従ってキーを入力し、すべてのローカルサービスが認証不要だと決めつけないでください。

Mystilink のカスタム Provider の手順で追加し、実際のモデル ID を入れて会話をテストします。モデルをダウンロードしただけでサーバーを起動していないと、デスクトップは接続できません。

保存前の確認​

確認項目理由
サービスが稼働しアドレスに届くモデルツールの画面が開いていることは API サーバーの起動を意味しません
モデルが読み込まれ ID が正しいファイル名、表示名、API ID は異なることがあります
必要なツール呼び出しに対応普通のチャットが通っても Agent のツールの流れが完了するとは限りません
コンテキストが現在のタスクに足りる履歴、チャート、ツール出力がコンテキストを消費します
メインモデルとフォールバックが正しいローカルの失敗が黙ってクラウドへ流れるのを避けます

性能とトラブル​

ローカルの挙動はモデルの大きさ、量子化、コンテキスト、使えるハードウェアで決まり、すべてのモデルに当てはまる固定のメモリ値はありません。まず配備ツールの説明に従って動かせるモデルを選び、長い会話が遅いときはタスクを狭めるか会話を分けてください。

  • 接続が拒否される:サーバーが起動しているか、ポートが正しいか、localhost が想定のマシンを指すか確認します。
  • モデルが見つからない:サービスの現在の一覧からモデル ID をコピーし、ダウンロードまたは読み込み済みか確認します。
  • チャットはできるがツールが失敗する:キーを替え続けるのではなく、モデルとエンドポイントのツール呼び出し対応を確認します。
  • パソコンを替えると失敗する:旧機のモデルとサーバーは Mystilink のワークスペースと一緒に移りません。

トラブルのために認証なしのサービスをインターネットへ直接公開しないでください。LAN に配備する場合は、自分が管理するサービス側で認証とアクセス範囲を設定し、通信経路を確認してください。

関連ガイド:モデルとベンダー、互換ベンダー、接続の問題、プライバシーの説明。