nanoeuler
GitHub - JustVugg/nanoeuler: GPT-2-style LLM built from scratch in C/CUDA with hand-written backprop, BPE tokenizer, FlashAttention, pretraining, and SFT.
C와 CUDA로 처음부터 직접 구현한 GPT-2 스타일의 소규모 언어 모델 학습 프로젝트입니다. 외부 라이브러리 없이 역전파, BPE 토크나이저, FlashAttention 등을 포함한 전체 학습 파이프라인을 제공합니다.
nanoeuler 상세 소개
[nanoeuler] 개요
- nanoeuler는 PyTorch나 외부 ML 라이브러리 의존성 없이 순수 C 및 CUDA만으로 GPT-2 클래스 언어 모델을 처음부터 끝까지 구축하고 학습시키는 연구 및 교육용 프로젝트입니다.
[핵심 기능 및 특징] — [모델 엔지니어링 및 학습 파이프라인]
- 수동으로 구현 및 검증된 역전파(Backpropagation) 알고리즘.
- 직접 작성된 바이트 레벨 BPE(Byte-Pair Encoding) 토크나이저.
- 최적화된 성능을 위한 CUDA 기반의 cuBLAS 행렬 연산 및 수동 FlashAttention 구현.
- CPU 및 GPU 환경 모두에서 구동 가능한 학습 파이프라인 제공.
[모델 아키텍처 및 설정] — [최신 트랜스포머 구성 요소 적용]
- Decoder-only 트랜스포머 구조: RMSNorm, RoPE(Rotary Position Embeddings), SwiGLU 활성화 함수.
- 효율적인 학습과 추론을 위한 Grouped-Query Attention(GQA) 및 Multi-token Prediction(MTP) 적용.
- CPU 환경에서의 소형 모델(약 1M 파라미터)부터 GPU 환경의 중형 모델(약 116M 파라미터)까지 다양한 설정 지원.
[데이터 및 훈련] — [실제 학습 데이터 활용 및 미세 조정]
- Project Gutenberg 고전 문학 및 FineWeb-Edu 웹 데이터를 활용한 사전 학습.
- Alpaca 데이터셋을 이용한 지도 미세 조정(SFT)을 통해 챗봇 형태로 변환 가능.
- 모든 파라미터와 기울기(Gradient)의 정확성을 검증하는 정밀한 그래디언트 체크 시스템 도입.
[제품 사양 / 세부 스펙] — [개발 환경 및 빌드 사양]
- 프로그래밍 언어: C, CUDA.
- 컴파일러: gcc 13, nvcc(RTX 40 시리즈 Ada 아키텍처 지원).
- 성능 최적화: OpenMP 병렬화 및 벡터화 지원.
[출시 일정 및 가격] — [오픈 소스 정보]
- 라이선스: MIT 라이선스를 따르는 오픈 소스 프로젝트로 누구나 자유롭게 소스 코드 활용 및 기여가 가능합니다.
- nanoeuler는 PyTorch나 외부 ML 라이브러리 의존성 없이 순수 C 및 CUDA만으로 GPT-2 클래스 언어 모델을 처음부터 끝까지 구축하고 학습시키는 연구 및 교육용 프로젝트입니다.
[핵심 기능 및 특징] — [모델 엔지니어링 및 학습 파이프라인]
- 수동으로 구현 및 검증된 역전파(Backpropagation) 알고리즘.
- 직접 작성된 바이트 레벨 BPE(Byte-Pair Encoding) 토크나이저.
- 최적화된 성능을 위한 CUDA 기반의 cuBLAS 행렬 연산 및 수동 FlashAttention 구현.
- CPU 및 GPU 환경 모두에서 구동 가능한 학습 파이프라인 제공.
[모델 아키텍처 및 설정] — [최신 트랜스포머 구성 요소 적용]
- Decoder-only 트랜스포머 구조: RMSNorm, RoPE(Rotary Position Embeddings), SwiGLU 활성화 함수.
- 효율적인 학습과 추론을 위한 Grouped-Query Attention(GQA) 및 Multi-token Prediction(MTP) 적용.
- CPU 환경에서의 소형 모델(약 1M 파라미터)부터 GPU 환경의 중형 모델(약 116M 파라미터)까지 다양한 설정 지원.
[데이터 및 훈련] — [실제 학습 데이터 활용 및 미세 조정]
- Project Gutenberg 고전 문학 및 FineWeb-Edu 웹 데이터를 활용한 사전 학습.
- Alpaca 데이터셋을 이용한 지도 미세 조정(SFT)을 통해 챗봇 형태로 변환 가능.
- 모든 파라미터와 기울기(Gradient)의 정확성을 검증하는 정밀한 그래디언트 체크 시스템 도입.
[제품 사양 / 세부 스펙] — [개발 환경 및 빌드 사양]
- 프로그래밍 언어: C, CUDA.
- 컴파일러: gcc 13, nvcc(RTX 40 시리즈 Ada 아키텍처 지원).
- 성능 최적화: OpenMP 병렬화 및 벡터화 지원.
[출시 일정 및 가격] — [오픈 소스 정보]
- 라이선스: MIT 라이선스를 따르는 오픈 소스 프로젝트로 누구나 자유롭게 소스 코드 활용 및 기여가 가능합니다.
핵심 기능
- 외부 의존성 없는 순수 C/CUDA 기반의 GPT-2 스타일 모델 구현
- 수동 역전파 알고리즘 및 FlashAttention 커널 직접 구현
- 사전 학습(Pretraining)부터 미세 조정(SFT)까지의 전체 파이프라인 제공
- 정밀한 그래디언트 체크 및 검증 도구 포함
기본 정보
- 가격 정책: 오픈소스
- 카테고리: 도구 / 유틸리티, 텍스트 / 언어, 코드, 코드 작성 / 자동완성, ML / AI 인프라 (MLOps), 데스크톱 앱 (Linux), CLI / 터미널 도구, 자체 호스팅 가능 (Self-hosted), 로컬 실행 (오프라인 가능), 오픈소스
- 태그: LLM, C언어, CUDA, 딥러닝, 오픈소스, 트랜스포머, 기계학습, 모델학습, 인공지능, 연구용
- 공식 사이트: https://github.com/JustVugg/nanoeuler/
- 정보 최종 업데이트: 2026. 7. 8.
nanoeuler와 비슷한 AI 서비스
- Piko — 네이버 플레이스 URL을 입력하면 AI가 리뷰와 매장 정보를 분석하여 소상공인을 위한 브랜드 홈페이지를 즉시 자동으로 생성해 주는 서비스입니다.
- Viral Pulse — AI 기반의 YouTube Shorts 트렌드 분석 및 콘텐츠 제작 올인원 플랫폼으로, 실시간 데이터 분석을 통해 조회수를 극대화하는 전략을 제공합니다.
- 속담1997 타자연습 - 김타자 — 추억의 도스용 폰트와 감성을 살려 웹에서 무료로 즐길 수 있는 레트로 한글 및 영어 타자 연습 서비스입니다.
- MicroRegalo — 설치나 복잡한 준비 없이 웹 브라우저에서 바로 사용할 수 있는 키보드 연습, 자장가, 전국 문화행사 나들이 정보 등의 유용한 유틸리티 웹앱 모음입니다.