Real-SWE: 비공개 실무 기업 코드베이스에서 AI 모델을 평가하는 벤치마크

한 줄 요약

Real-SWE 는 실제 기업에서 사용 허가를 받은 비공개 프로덕션 코드베이스와 업무를 바탕으로, 코딩 에이전트가 소프트웨어 엔지니어의 실무를 수행할 수 있는지 평가함

핵심 내용

• Real-SWE 는 실제 기업에서 사용 허가를 받은 비공개 프로덕션 코드베이스와 업무를 바탕으로, 코딩 에이전트가 소프트웨어 엔지니어의 실무를 수행할 수 있는지 평가함

• 모델 단독이 아니라 모델과 기본 하네스의 조합을 평가하며, 과제마다

• 8회 독립 실행한 평균 해...

왜 중요한가

모델 단독이 아니라 모델과 기본 하네스의 조합을 평가하며, 과제마다 8회 독립 실행한 평균 해...

참조한 것 · 가져온 것

• 원문: https://withspecific.com/benchmarks/real-swe

• GeekNews: https://news.hada.io/topic?id=33609