초기 DeepSWE 10개 과제에서 Ox Alpha는 80%, Fable 5는 65%를 기록했습니다. 이 숫자만 보면 Ox Alpha가 앞섭니다. 그러나 더 큰 재시험에서는 Ox Alpha 약 63%, Fable 5 65%로 순서가 바뀌었습니다. 별도의 업무형 시험 평균도 Ox Alpha 65점, Fable 5 86점이었습니다. 이번 호는 서로 다른 숫자를 한 화면에서 비교하고, 어떤 조건에서 결과가 달라졌는지 설명합니다.
한눈에 보기
80 대 65, 이 숫자 하나로 결론 내리면 안 됩니다
초기 10개 과제, 더 큰 재시험과 별도 업무형 시험을 나란히 놓으면 Ox Alpha와 Fable 5의 강점이 과제에 따라 달라집니다.
핵심 분석
Ox Alpha는 일부 코딩 과제에서 앞섰지만 전반적 우위는 확인되지 않았습니다
첫 비교는 DeepSWE 113개 중 10개 과제만 사용했습니다. Ox Alpha는 8개를 해결해 80%, Fable 5 Max는 과제마다 4번 실행한 평균이 65%였습니다. Ox Alpha가 15%p 앞섰지만 표본과 반복 횟수가 달라 방향을 보는 초기 결과에 가깝습니다.
이후 더 큰 DeepSWE 부분 재시험에서 Ox Alpha는 약 63%를 기록했습니다. 비교값인 Fable 5 Medium은 65%였습니다. 별도의 네 가지 업무형 시험 평균에서는 Ox Alpha 65점, Fable 5 86점이었습니다. 시험이 달라지자 순위도 바뀌었습니다.
숫자가 틀렸다는 뜻은 아닙니다. Ox Alpha는 첫 코딩 과제와 일부 지식 업무에서 강한 결과를 보였습니다. 다만 ‘Fable 5보다 좋다’고 일반화하려면 같은 설정, 같은 반복 횟수와 더 많은 과제가 필요합니다.
Ox Alpha는 어떤 AI인가
04 ITEMS
공식OpenCode
OpenCode가 한시적으로 제공한 스텔스 코딩 모델
OpenCode는 AI가 터미널에서 코드를 읽고 수정하도록 돕는 도구입니다. 현재 Ox Alpha를 무료로 시험할 수 있지만, 제작사와 자세한 모델 정보는 공개되지 않았습니다.
