DeepSWE

DeepSWE


DeepSWE는 실제 오픈소스 저장소를 기반으로 최첨단 코딩 AI 에이전트의 소프트웨어 엔지니어링 능력을 평가하는 장기 과제 중심의 벤치마크입니다.

DeepSWE 상세 소개

[DeepSWE] 개요
- DeepSWE는 기존 벤치마크의 한계인 데이터 오염 문제를 해결하고, 실제 소프트웨어 개발 환경과 유사한 장기적 과제(Long-horizon tasks)를 통해 코딩 AI 모델의 실질적인 해결 능력을 평가하기 위한 데이터셋 및 평가 프레임워크입니다.

[핵심 평가 방식] — [실제 개발 환경을 모사한 엄격한 검증]
- 113개의 독창적인 소프트웨어 엔지니어링 과제를 91개의 활성 오픈소스 저장소에 걸쳐 설계하여 모델의 암기 성능이 아닌 진정한 문제 해결 능력을 측정합니다.
- TypeScript, Go, Python, JavaScript, Rust 등 5개 주요 프로그래밍 언어를 지원합니다.
- 단순 코드 구현 여부가 아닌, 소프트웨어의 실제 동작과 기능을 테스트하는 핸드메이드 검증기(Verifier)를 사용하여 평가의 신뢰성을 높였습니다.

[기술적 차별점] — [성능 격차를 명확히 보여주는 벤치마크]
- 기존 벤치마크에서 모델 간 점수가 지나치게 밀집되는 현상을 개선하여, 각 모델이 가진 실제 성능 차이를 더 명확하게 시각화합니다.
- 모든 과제는 기존 커밋이나 PR에서 가져온 것이 아니라 처음부터 새로 작성되어 학습 데이터 오염(Contamination)으로부터 자유롭습니다.
- 다중 파일 수정, 저장소 탐색, 테스트 코드 작성 루프 등 실제 개발자가 수행하는 복잡한 엔지니어링 워크플로우를 테스트합니다.

[출시 일정 및 가격] — [오픈소스 및 이용 정보]
- Datacurve에서 제공하는 오픈 벤치마크 프로젝트로, GitHub 및 관련 플랫폼을 통해 누구나 접근 가능합니다.
- 평가 도구인 'Pier' 프레임워크와 결합하여 자사 모델의 성능을 로컬 또는 클라우드 환경에서 직접 테스트할 수 있습니다.
- 상세한 데이터와 리더보드 정보는 공식 홈페이지 및 관련 연구 문서를 통해 제공됩니다.

핵심 기능

  • 장기적 소프트웨어 엔지니어링 과제 평가
  • 오염 방지를 위한 독창적인 113개 태스크 제공
  • 행동 기반의 신뢰도 높은 자동 검증 시스템
  • 다양한 프로그래밍 언어 지원 및 멀티파일 작업 능력 측정

기본 정보

DeepSWE와 비슷한 AI 서비스

  • Nico — Mac 화면과 음성을 인식하여 이메일 답변, PDF 변환, 파일 정리 등의 작업을 처리해주는 맥용 음성 기반 개인 AI 에이전트입니다.
  • llmspeed — 구매 전 다양한 하드웨어와 로컬 LLM 조합의 예상 속도(토큰/초, 첫 토큰 응답 시간)를 시뮬레이션해주는 벤치마크 기반 도구입니다.
  • 주소핀 — 포털, 은행, 정부, 공공, OTT, 쇼핑 등 자주 찾는 공식 사이트 279곳의 주소를 카테고리별로 모아 제공하는 링크모음 플랫폼입니다.
  • 오늘의 깃밥 — GitHub의 뜨거운 오픈소스 트렌드를 AI가 매일 수집하여 한국어로 3단계 난이도(순한맛·중간맛·매운맛)로 풀어주는 큐레이션 서비스입니다.

공식 사이트 방문하기