Coding-Agent

Eval 없는 Agent Skill은 배포하지 마라: Philipp Schmid의 스킬 테스트 방법론과 SkillsBench

Claude Code, Gemini CLI, Codex 같은 코딩 에이전트를 쓰다 보면 자연스럽게 스킬(Agent Skill)을 만들게 된다. 사내 코딩 컨벤션, 특정 SDK 사용법, 배포 절차 같은 지식을 Markdown 파일로 정리해 에이전트에게 물려주는 방식이다. 문제는 거의 아무도 이 스킬을 테스트하지 않는다는 점이다. 코드는 테스트 없이 배포하지 않으면서, 에이전트의 행동을 바꾸는 스킬은 몇 번 돌려 보고 “괜찮네” 수준의 감으로 배포한다.

더 보기

GPT-5.6 Sol·Terra·Luna 코딩 에이전트 모델 선택 가이드

GPT-5.6 이야기를 하다 보면 “Luna Max가 Terra High보다 낫다더라” 식의 서열이 자주 돌아다닙니다. 이 문장은 애초에 성립하지 않는 비교입니다. Sol·Terra·Luna는 서로 다른 모델(능력 티어)이고, max·high·xhigh·ultra는 같은 모델 안에서 얼마나 오래 생각하고 얼마나 많은 에이전트를 병렬로 굴릴지 정하는 설정입니다. 티어와 설정을 한 줄로 섞어 서열화하면 비교 축이 다른 값을 나란히 놓는 셈입니다.

더 보기

AI 자기개선은 모델 밖 하네스에서 먼저 온다

AI가 스스로를 개선한다는 말을 들으면 보통 모델이 자기 가중치를 고치는 장면을 떠올립니다. 그런데 릴리안 웽(Lilian Weng)이 2026년 7월 4일 자신의 블로그 Lil’Log에 올린 글은 다른 그림을 보여줍니다. 당장 눈에 띄는 재귀적 자기개선(recursive self-improvement, RSI)은 모델 내부가 아니라 모델을 둘러싼 실행 환경, 즉 하네스(harness)에서 먼저 나타난다는 주장입니다. 이 글은 그 논지를 하네스 개념부터 위험까지 순서대로 정리합니다.

더 보기

DeepSWE: 코딩 에이전트를 장기 과제로 평가하는 벤치마크

코딩 에이전트를 평가할 때 SWE-bench가 오랫동안 기준이었습니다. 그런데 SWE-bench의 태스크 대부분은 단일 파일 버그 수정이고, 정답이 이미 공개 커밋에 있습니다. 에이전트가 모델 학습 데이터에서 본 답을 그대로 재현하는 건지, 진짜로 코드를 이해하고 고치는 건지 구분하기 어렵습니다.

더 보기
카테고리
태그