oMLX

oMLX — LLM inference, optimized for your Mac


Apple Silicon Mac에 최적화된 로컬 LLM 추론 서버로, SSD 기반의 고속 캐싱 기술을 통해 에이전트 작업의 첫 토큰 생성 시간(TTFT)을 획기적으로 단축합니다.

oMLX 상세 소개

[oMLX 개요]
- oMLX는 Apple Silicon(M1 이상)이 탑재된 Mac 환경에서 구동되는 고성능 로컬 추론 서버입니다. MLX 프레임워크를 기반으로 하며, 특히 코딩 에이전트가 반복적으로 캐시를 무효화하는 문제를 해결하기 위해 고안되었습니다. 사용자가 로컬 AI 모델을 마치 클라우드 서버처럼 빠르고 효율적으로 사용할 수 있도록 돕습니다.

[페이지드 SSD KV 캐싱] — 시스템 성능 극대화
- 캐시 블록을 SSD에 영구적으로 저장하여 메모리 부족 시에도 재계산 없이 즉시 데이터를 복구합니다.
- 핫 블록은 RAM에, 콜드 블록은 SSD에 보관하는 2계층 구조를 통해 에이전트의 응답 지연 시간(TTFT)을 90초에서 5초 이내로 단축합니다.

[지능형 서버 기능] — 원활한 워크플로우 지원
- 연속 배치(Continuous batching)를 통한 다중 요청 동시 처리로 생성 속도를 최대 4배 이상 향상합니다.
- OpenAI 및 Anthropic 호환 API를 제공하여 Claude Code, OpenClaw, Cursor 등 주요 에이전트 도구와 즉시 연동됩니다.
- 직관적인 macOS 메뉴바 앱과 웹 대시보드를 통해 모델 관리, 실시간 메트릭 모니터링, 간편한 모델 다운로드를 지원합니다.

[제품 사양 / 세부 스펙]
- 지원 환경: macOS 15 이상, Apple Silicon (M1 Pro/Max 이상 권장).
- 지원 모델: Qwen, LLaMA, Mistral, Gemma, DeepSeek 등 모든 MLX 호환 모델.
- 호환성: OpenAI(/v1/chat/completions) 및 Anthropic(/v1/messages) API 엔드포인트 지원.

[출시 일정 및 가격]
- 라이선스: Apache 2.0 라이선스를 따르는 오픈소스 소프트웨어로, 누구나 GitHub를 통해 소스 코드를 확인하고 사용할 수 있습니다.

핵심 기능

  • SSD 기반의 페이징 KV 캐싱으로 5초 이내의 빠른 응답 속도 제공
  • OpenAI 및 Anthropic 호환 API를 통한 주요 AI 에이전트 연동
  • 연속 배치 처리를 통한 높은 동시성 및 생성 처리량 지원
  • macOS 네이티브 메뉴바 앱을 통한 손쉬운 서버 제어 및 모니터링

기본 정보

oMLX와 비슷한 AI 서비스

  • Viral Pulse — AI 기반의 YouTube Shorts 트렌드 분석 및 콘텐츠 제작 올인원 플랫폼으로, 실시간 데이터 분석을 통해 조회수를 극대화하는 전략을 제공합니다.
  • MicroRegalo — 설치나 복잡한 준비 없이 웹 브라우저에서 바로 사용할 수 있는 키보드 연습, 자장가, 전국 문화행사 나들이 정보 등의 유용한 유틸리티 웹앱 모음입니다.
  • 속담1997 타자연습 - 김타자 — 추억의 도스용 폰트와 감성을 살려 웹에서 무료로 즐길 수 있는 레트로 한글 및 영어 타자 연습 서비스입니다.
  • 장사어때 — 지도에서 경쟁업체, 주거인구, 임대정보 등을 한눈에 확인하여 성공적인 창업과 상권 분석을 돕는 자영업자 및 창업자 맞춤형 플랫폼입니다.

공식 사이트 방문하기