로컬 대형 모델 배포 구성
Mystilink를 이 기기에서 실행되는 호환 모델 서비스에 연결할 수 있습니다. 로컬 모델은 직접 설치, 다운로드, 실행해야 하며, Mystilink는 연결 구성을 저장할 뿐 모델 설치나 GPU 환경 준비를 대신하지 않습니다.
먼저 로컬, LAN, 클라우드 구분
localhost 또는 127.0.0.1은 Mystilink가 실행 중인 이 컴퓨터를 뜻합니다. LAN 주소는 다른 기기를 가리키며 같은 장치 내 처리가 아닙니다. 일부 로컬 모델 도구는 클라우드 모델도 제공하므로, 그런 도구 이름을 쓴다고 해서 실제 추론이 이 기기에서 일어나는 것은 아닙니다.
추론을 로컬에 유지하려면 선택한 모델이 이 기기에서 실행되는지, 주소가 로컬 서비스를 가리키는지, 클라우드 폴백을 껐거나 제거했는지를 함께 확인해야 합니다. 계정, 라이선스 같은 온라인 기능은 각자의 네트워크 요구 사항이 있습니다.
Ollama
Ollama 공식 안내에 따라 설치하고 서비스 를 시작한 뒤, 이 기기에 맞고 필요한 도구 기능을 지원하는 모델을 먼저 받으세요. 서비스가 실제로 표시하는 모델 ID를 기준으로 하고, 다른 사람의 모델 태그를 그대로 복사하지 마세요.
Mystilink에서 사용자 정의 Provider를 만들고, 화면의 "API 프로토콜 계열"에 openai-compatible을 사용합니다. 이 기기 기본 주소 예시는 http://localhost:11434/v1입니다. 서비스 주소나 포트를 바꿨다면 실제 값을 입력하세요. Ollama 로컬 호환 인터페이스 예시는 자리표시자 Key ollama를 사용하며, 이는 Mystilink 계정 비밀번호도, 보안 접근 제어도 아닙니다.
연결을 테스트하고 정확한 모델 ID를 추가한 뒤 저장하고 주 모델로 설정하세요. 연결에 성공해도 실제 대화 한 번과 도구가 필요한 흐름을 검증해야 합니다.
LM Studio
LM Studio에서 기기에 맞는 모델을 불러오고 로컬 서버를 시작한 뒤, 공식 호환 인터페이스 문서에서 주소와 모델 식별자를 확인하세요.
서비스 포트가 1234라면 호환 접두사 예시는 http://localhost:1234/v1입니다. 포트가 고정 요구 사항은 아닙니다. 현재 서버의 인증 설정에 따라 Key를 입력하고, 모든 로컬 서비스가 인증이 필요 없다고 가정하지 마세요.
Mystilink에서 사용자 정의 Provider 절차로 추가하고 실제 모델 ID를 입력한 뒤 대화를 테스트하세요. 모델만 받고 서버를 시작하지 않으면 데스크톱은 여전히 연결할 수 없습니 다.
저장 전 확인
| 확인 항목 | 이유 |
|---|---|
| 서비스가 실행 중이고 주소에 접근 가능 | 모델 도구 화면이 열려 있다고 API 서비스가 켜진 것은 아닙니다 |
| 모델이 로드되었고 ID가 정확함 | 파일 이름, 표시 이름, API ID가 다를 수 있습니다 |
| 필요한 도구 호출 기능 보유 | 일반 채팅 성공이 Agent 도구 흐름 완료를 뜻하지 않습니다 |
| 컨텍스트가 현재 작업을 수용 | 이전 대화, 차트, 도구 출력이 컨텍스트를 차지합니다 |
| 주 모델과 폴백 구성이 올바름 | 로컬 실패 후 클라우드로 자동 전환되는 것을 피합니다 |
성능과 문제 해결
로컬 성능은 모델 크기, 양자화, 컨텍스트, 사용 가능한 하드웨어에 따라 달라지며 모든 모델에 맞는 고정 메모리 수치는 없습니다. 먼저 배포 도구 안내에 따라 실행 가능한 모델을 고르고, 긴 대화가 느려지면 작업 범위를 줄이거나 독립된 대화를 새로 여세요.
- 연결이 거부됨: 서버가 시작되었는지, 포트가 맞는지,
localhost가 의도한 기기를 가리키는지 확인합니다. - 모델을 찾을 수 없음: 서비스의 현재 목록에서 모델 ID를 복사하고 다운로드 또는 로드 여부를 확인합니다.
- 채팅은 되지만 도구에서 오류: Key를 반복해서 바꾸지 말고 모델과 인터페이스의 도구 호출 지원을 확인합니다.
- 컴퓨터를 바꾸면 실패: 이전 기기의 모델과 서버는 Mystilink 워크스페이스와 함께 자동으로 옮겨지지 않습니다.
문제 해결을 이유로 인증 없는 서비스를 인터넷에 그대로 노출하지 마세요. LAN 배포가 필요하면 직접 관리하는 서비스에서 인증과 접근 범위를 구성하고 전송 경로를 확인하세요.
관련 가이드: 대형 모델과 사업자, 호환 사업자, 연결 문제, 개인정보 안내.