로컬 모델 (Ollama, LM Studio)
인터넷 연결 없이 프라이버시를 완벽하게 보호하며 에이전트를 가동하고 싶다면 로컬 모델을 사용하세요. 별도의 API 비용이 발생하지 않습니다.
🦙 Ollama 사용하기
Ollama는 로컬에서 LLM을 돌리는 가장 쉬운 도구입니다.
1. Ollama 설치 및 실행
Ollama 공식 사이트에서 앱을 내려받아 실행합니다.
2. 모델 다운로드
ollama run llama3.1
3. OpenClaw 설정
openclaw configure set providers.ollama.baseUrl "http://localhost:11434"
openclaw configure set models.default "ollama/llama3.1"
💻 LM Studio 사용하기
LM Studio는 GUI 환경에서 다양한 오픈 소스 모델(HuggingFace)을 시도해보기 좋습니다.
1. 서버 모드 활성화
LM Studio에서 모델을 불러온 후, 왼쪽 메뉴의 Local Server 탭에서 Start Server를 누릅니다. 기본 주소는 보통 http://localhost:1234입니다.
2. OpenClaw 설정 (OpenAI 호환 방식)
LM Studio는 OpenAI API 규격을 따르므로 다음과 같이 설정합니다.
openclaw configure set providers.openai.baseUrl "http://localhost:1234/v1"
openclaw configure set providers.openai.apiKey "lm-studio" # 아무 값이나 입력
openclaw configure set models.default "openai/any-model"
⚠️ 로컬 모델 사용 시 팁
- 사양 확인: 원활한 실행을 위해 Apple Silicon (M1/M2/M3) 또는 NVIDIA GPU가 필요합니다.
- 추론 속도: 클라우드 모델에 비해 답변 속도가 느릴 수 있으니, 작은 사양의 모델 (8B 이하)부터 시도해 보세요.
- 도구 사용:
llama3.1또는qwen2.5-coder와 같이 도구 사용(Tool Call) 능력이 검증된 모델을 권장합니다.