MicroLLM lab

MicroLLM lab — tiny LLMs, Q4, in your browser


웹 브라우저에서 WebGPU를 이용해 Q4 양자화 소형 언어 모델(SLM)을 서버 비용이나 계정 생성 없이 100% 프라이빗하게 실행하고 벤치마크할 수 있는 도구입니다.

MicroLLM lab 상세 소개

[MicroLLM lab] 개요
- 브라우저 환경에서 하드웨어 가속 WebGPU를 활용하여 소형 언어 모델(SLM)을 직접 구동하고 성능을 비교·평가할 수 있는 온디바이스 AI 랩입니다.

[주요 기능 및 특징] — 웹 기반 온디바이스 AI 실행 및 벤치마크
- 웹 브라우저에서 PetitGPT, SmolLM2 등의 경량 모델(25M~360M)을 서버 비용 없이 100% 프라이빗하게 로드하고 테스트할 수 있습니다.
- 4비트 양자화(Q4) 기술을 적용하여 메모리 사용량을 75% 절감하면서도 모바일이나 랩탑 메모리에 완벽히 안착시킵니다.
- 브라우저의 프라이빗 IndexedDB에 모델을 캐싱하므로 디스크에 별도 파일을 다운로드하지 않습니다.

[벤치마크 및 소셜 인증] — 성능 측정 및 공유
- 초당 토큰 처리 속도(tok/s), 첫 토큰 생성 시간(TTFT) 등을 객관적으로 측정하고 테스트 스위트를 실행할 수 있습니다.
- 디바이스 하드웨어 정보와 성능 점수가 포함된 인증서 이미지를 생성하여 소셜 미디어에 공유할 수 있습니다.

[제품 사양 / 세부 스펙] — 지원 하드웨어 및 모델 사양
- 지원 기술: WebGPU (W3C 표준 API, Apple Silicon Metal, DirectX 12, Vulkan 호환), WASM 및 JS 폴백 지원
- 모델 규모: 25M ~ 360M 파라미터 크기의 경량 모델 (Q4 양자화로 50~84MB 메모리 소모)

[출시 일정 및 가격] — 이용 정책
- 완전 무료 및 오픈소스 기반의 실험용 웹 애플리케이션으로, 서버 통신 비용 없이 클라이언트 기기에서 무료로 이용할 수 있습니다.

핵심 기능

  • 브라우저 기반 WebGPU 가속 소형 언어 모델 실행
  • 4비트(Q4) 양자화를 통한 초경량 메모리 최적화
  • 실시간 토큰 속도 측정 및 성능 벤치마크 스위트
  • 서버 비용 및 계정 가입이 필요 없는 100% 프라이빗 온디바이스 환경
  • 성능 인증서 이미지 생성 및 소셜 공유 기능

기본 정보

MicroLLM lab와 비슷한 AI 서비스

  • Piko — 네이버 플레이스 URL을 입력하면 AI가 리뷰와 매장 정보를 분석하여 소상공인을 위한 브랜드 홈페이지를 즉시 자동으로 생성해 주는 서비스입니다.
  • Viral Pulse — AI 기반의 YouTube Shorts 트렌드 분석 및 콘텐츠 제작 올인원 플랫폼으로, 실시간 데이터 분석을 통해 조회수를 극대화하는 전략을 제공합니다.
  • 속담1997 타자연습 - 김타자 — 추억의 도스용 폰트와 감성을 살려 웹에서 무료로 즐길 수 있는 레트로 한글 및 영어 타자 연습 서비스입니다.
  • MicroRegalo — 설치나 복잡한 준비 없이 웹 브라우저에서 바로 사용할 수 있는 키보드 연습, 자장가, 전국 문화행사 나들이 정보 등의 유용한 유틸리티 웹앱 모음입니다.

공식 사이트 방문하기