nanoeuler

GitHub - JustVugg/nanoeuler: GPT-2-style LLM built from scratch in C/CUDA with hand-written backprop, BPE tokenizer, FlashAttention, pretraining, and SFT.


C와 CUDA로 처음부터 직접 구현한 GPT-2 스타일의 소규모 언어 모델 학습 프로젝트입니다. 외부 라이브러리 없이 역전파, BPE 토크나이저, FlashAttention 등을 포함한 전체 학습 파이프라인을 제공합니다.

nanoeuler 상세 소개

[nanoeuler] 개요
- nanoeuler는 PyTorch나 외부 ML 라이브러리 의존성 없이 순수 C 및 CUDA만으로 GPT-2 클래스 언어 모델을 처음부터 끝까지 구축하고 학습시키는 연구 및 교육용 프로젝트입니다.

[핵심 기능 및 특징] — [모델 엔지니어링 및 학습 파이프라인]
- 수동으로 구현 및 검증된 역전파(Backpropagation) 알고리즘.
- 직접 작성된 바이트 레벨 BPE(Byte-Pair Encoding) 토크나이저.
- 최적화된 성능을 위한 CUDA 기반의 cuBLAS 행렬 연산 및 수동 FlashAttention 구현.
- CPU 및 GPU 환경 모두에서 구동 가능한 학습 파이프라인 제공.

[모델 아키텍처 및 설정] — [최신 트랜스포머 구성 요소 적용]
- Decoder-only 트랜스포머 구조: RMSNorm, RoPE(Rotary Position Embeddings), SwiGLU 활성화 함수.
- 효율적인 학습과 추론을 위한 Grouped-Query Attention(GQA) 및 Multi-token Prediction(MTP) 적용.
- CPU 환경에서의 소형 모델(약 1M 파라미터)부터 GPU 환경의 중형 모델(약 116M 파라미터)까지 다양한 설정 지원.

[데이터 및 훈련] — [실제 학습 데이터 활용 및 미세 조정]
- Project Gutenberg 고전 문학 및 FineWeb-Edu 웹 데이터를 활용한 사전 학습.
- Alpaca 데이터셋을 이용한 지도 미세 조정(SFT)을 통해 챗봇 형태로 변환 가능.
- 모든 파라미터와 기울기(Gradient)의 정확성을 검증하는 정밀한 그래디언트 체크 시스템 도입.

[제품 사양 / 세부 스펙] — [개발 환경 및 빌드 사양]
- 프로그래밍 언어: C, CUDA.
- 컴파일러: gcc 13, nvcc(RTX 40 시리즈 Ada 아키텍처 지원).
- 성능 최적화: OpenMP 병렬화 및 벡터화 지원.

[출시 일정 및 가격] — [오픈 소스 정보]
- 라이선스: MIT 라이선스를 따르는 오픈 소스 프로젝트로 누구나 자유롭게 소스 코드 활용 및 기여가 가능합니다.

핵심 기능

  • 외부 의존성 없는 순수 C/CUDA 기반의 GPT-2 스타일 모델 구현
  • 수동 역전파 알고리즘 및 FlashAttention 커널 직접 구현
  • 사전 학습(Pretraining)부터 미세 조정(SFT)까지의 전체 파이프라인 제공
  • 정밀한 그래디언트 체크 및 검증 도구 포함

기본 정보

nanoeuler와 비슷한 AI 서비스

  • Piko — 네이버 플레이스 URL을 입력하면 AI가 리뷰와 매장 정보를 분석하여 소상공인을 위한 브랜드 홈페이지를 즉시 자동으로 생성해 주는 서비스입니다.
  • Viral Pulse — AI 기반의 YouTube Shorts 트렌드 분석 및 콘텐츠 제작 올인원 플랫폼으로, 실시간 데이터 분석을 통해 조회수를 극대화하는 전략을 제공합니다.
  • 속담1997 타자연습 - 김타자 — 추억의 도스용 폰트와 감성을 살려 웹에서 무료로 즐길 수 있는 레트로 한글 및 영어 타자 연습 서비스입니다.
  • MicroRegalo — 설치나 복잡한 준비 없이 웹 브라우저에서 바로 사용할 수 있는 키보드 연습, 자장가, 전국 문화행사 나들이 정보 등의 유용한 유틸리티 웹앱 모음입니다.

공식 사이트 방문하기