몇 년 전, AI 셀프 호스팅은 $3,000짜리 워크스테이션에서 7B 파라미터 모델을 실행하고 각 응답을 30초 기다리는 것을 의미했다. 클라우드 서비스의 실용적인 대안이 아닌 취미 활동이었다.
그것이 바뀌었다. 더 나은 양자화 기술, 더 효율적인 모델, Ollama 같은 도구들이 로컬 AI를 소비자 하드웨어에서 진정으로 사용 가능하게 만들었다. 그리고 ZeroClaw의 4MB 풋프린트는 에이전트 런타임 자체가 리소스 요구 사항에 거의 아무것도 추가하지 않음을 의미한다.
2026년, AI 셀프 호스팅은 데이터 주권, GDPR 컴플라이언스, 기업 IP 보호, 그리고 도구를 빌리는 것이 아닌 소유하고 싶다는 단순한 욕구라는 실제 우려에서 비롯된 실용적인 선택이다. 완전한 스택을 구축하는 방법을 알아보자.
세 가지 구성 요소
아키텍처는 세 가지 도구로, 각각 한 가지를 잘 수행한다.
ZeroClaw는 AI 에이전트 런타임이다. 채팅 채널 전반의 메시지 라우팅을 처리하고, 로컬 SQLite 데이터베이스에서 대화 메모리를 관리하고, 에이전트가 행동을 취해야 할 때 도구를 실행한다. 4MB RAM을 사용하고 단일 바이너리로 제공된다. 모든 것을 연결하는 결합 조직이다.
Ollama는 로컬 LLM 서버다. 오픈 웨이트 모델을 다운로드하고 관리하며, 양자화를 자동으로 처리하고, ZeroClaw가 통신하는 방법을 아는 간단한 API를 노출한다. 모델 형식, 양자화 수준, 추론 최적화를 이해할 필요가 없다. `ollama pull llama3.1:8b`를 실행하면 작동한다.
Tailscale은 보안 네트워킹 레이어다. 기기 간에 암호화된 WireGuard 메시를 생성해 인터넷에 포트를 노출하지 않고 세계 어디서나 AI 어시스턴트에 접근할 수 있게 한다. 동적 DNS 없음, 방화벽 규칙 없음, 관리할 VPN 서버 없음.
이 세 가지 도구를 합치면 모든 기기에서 작동하고 네트워크 밖으로 데이터가 나가지 않는 완전 프라이빗 AI 어시스턴트가 된다.
하드웨어 선택
저가형($50-100)에서는 8GB RAM의 Raspberry Pi 5가 1.5B~4B 파라미터 범위의 소형 모델을 실행할 수 있다. 응답 시간은 클라우드 서비스보다 느리지만 프론티어 수준의 추론이 필요하지 않은 간단한 쿼리와 작업에는 충분히 기능적이다. 16GB RAM의 오래된 노트북은 7B~8B 파라미터 모델을 그럭저럭 잘 처리한다.
중간 가격대($200-400)에서는 Mac Mini M2가 따라오기 어렵다. 조용하고, 최소한의 전력을 소비하며, 8B~13B 파라미터 모델을 편안하게 처리하고, Apple Silicon의 통합 메모리 아키텍처는 추론에 특히 효율적이다. 32GB RAM의 중고 ThinkPad는 13B 모델을 잘 실행하는 휴대용 대안이다.
최고 성능($500+)에서는 NVIDIA RTX 3060 이상을 가진 머신이 대형 모델에서 빠른 추론을 제공한다. Mac Studio M2 Ultra는 70B 파라미터 모델을 편안하게 실행할 수 있다——그 수준에서 로컬 모델 품질은 대부분의 작업에서 프론티어 클라우드 모델에 근접한다.
1단계: Ollama 설정
```bash curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b # 최고의 품질/속도 균형 ollama pull qwen3:8b # 강력한 다국어 지원 ollama pull deepseek-r1:7b # 추론 작업에 최적 ```
계속 진행하기 전에 작동 확인: `ollama run llama3.1:8b "Hello"`. 응답이 오면 Ollama 준비 완료.
2단계: ZeroClaw 설치 및 구성
```bash curl -fsSL https://raw.githubusercontent.com/zeroclaw-labs/zeroclaw/main/scripts/bootstrap.sh | bash ```
`~/.config/zeroclaw/config.toml` 구성:
```toml [ai] provider = "ollama" model = "llama3.1:8b" endpoint = "http://localhost:11434"
[memory] backend = "sqlite" path = "~/.local/share/zeroclaw/memory.db"
[channels.telegram] token = "YOUR_BOT_TOKEN" allowed_users = [123456789] ```
`zeroclaw start`로 시작. 이 시점에서 로컬 네트워크에서만 접근 가능한 작동하는 프라이빗 AI 어시스턴트가 생겼다. 다음 단계에서 그것을 수정한다.
3단계: Tailscale로 보안 원격 접근
Tailscale은 기기 간에 암호화된 WireGuard 메시를 생성한다. 설정은 간단하다:
```bash # AI 서버에서 curl -fsSL https://tailscale.com/install.sh | sh sudo tailscale up
# Tailscale IP 확인 tailscale ip -4 ```
스마트폰과 노트북에도 Tailscale을 설치한다. 모든 기기가 같은 Tailscale 네트워크에 들어오면 집 WiFi, 모바일 데이터, 카페 네트워크, 기업 네트워크 등 어떤 인터넷 연결에서도 서로 안전하게 접근할 수 있다. 인터넷에 노출된 포트 없음, 구성할 방화벽 규칙 없음.
Telegram 봇은 Telegram 서버가 메시지를 중계하므로 어디서나 이미 작동한다. Tailscale은 자신의 기기에서 ZeroClaw의 API나 웹 게이트웨이에 직접 접근하기 위한 것이다.
실제로 무엇을 얻는가
이 스택의 실제 결과는 클라우드 서비스처럼 동작하지만 하드웨어에서 완전히 실행되는 AI 어시스턴트다. 프롬프트와 응답은 네트워크를 떠나지 않는다. 대화 기록은 머신의 SQLite 파일에 저장된다——언제든지 백업, 이동, 검사, 삭제할 수 있다. 규제 산업에 있다면 데이터가 관할권을 벗어나지 않는다. 독점 코드를 작업 중이라면 서드파티 서버에 닿지 않는다.
비용 비교는 명확하다. ChatGPT Plus와 Claude Pro는 모두 1인당 월 $20. Raspberry Pi 5에서의 셀프 호스팅은 전기 요금으로 월 약 $2. Mac Mini에서는 약 $5. 1년에 1인당 $180~$230 절약이며, 완전한 데이터 소유권을 얻는다.
유지 관리는 최소화된다. ZeroClaw는 단일 명령으로 업데이트된다. Ollama는 `ollama pull`로 모델을 업데이트한다. Tailscale은 기본적으로 자동 업데이트된다. 전체 상태는 두 파일이다: `memory.db`와 `config.toml`. 그것들을 백업하면 새 하드웨어에서 전체 설정을 몇 분 만에 복원할 수 있다.
이 스택이 적합한 사람
이 설정은 코드가 서드파티 서버를 통과하는 것을 원하지 않는 독점 코드베이스를 작업하는 개발자에게 가장 의미가 있다. 민감한 고객 데이터를 처리하는 중소기업. 컴플라이언스 요구 사항이 있는 의료 및 법률 전문가. 데이터가 어디로 가는지 신중하게 생각하고 집에 두기로 결정한 사람.
도구는 성숙해 있고, 설정에는 약 15분이 걸리며, 결과는 완전히 자신의 것인 AI 어시스턴트다. 물어볼 가치가 있는 유일한 질문은 왜 아직도 클라우드 버전에 데이터를 보내고 있는가다.