AI를 세 개 돌려봤는데, 남은 건 제일 똑똑한 것이 아니었습니다

1인 회사의 반복 사무를 무인화하면서, 석 달 동안 AI 도구를 세 번 바꿨습니다. 정확히는 두 번 갈아탔고, 한 번은 십 분 만에 접었습니다. 기록을 다시 열어보니 제가 기억하던 "성능 좋은 걸로 갈아탔다"는 말이 틀려 있었습니다.

1. 십 분 만에 접은 도구

3월 9일 저녁 7시 1분에 다른 회사의 코딩 에이전트를 설치했습니다. 설치 폴더에 남은 대화 기록은 한 건, 제가 보낸 말은 "hello" 한 마디입니다. 7시 10분에 마지막 파일이 저장됐고 그 폴더는 오늘까지 다시 열리지 않았습니다.

왜 십 분 만에 접었는지는 기록이 없습니다. 기억으로 메우자면, 첫 도구가 이미 돌고 있는데 두 번째를 같은 자리에 세울 이유를 못 찾았던 것 같습니다. 그때는 "비교"라는 생각 자체가 없었습니다.

2. 비교는 표가 아니라 같은 일로 했습니다

6월 초에 예순 개 작업으로 잰 엔진 벤치마크 표를 봤습니다. 참고했고, 결정에는 쓰지 않았습니다. 3월에도 4월에도 6월에도 결정은 "같은 걸 시켜 보니 이쪽이 나랑 맞다"에서 났습니다. 4월에 제가 남긴 말이 남아 있습니다 — "비교해서 돌려 보면 같은 프롬프트여도 나랑 잘 맞는 게 나와요." 지금도 새 모델이 나오면 제 업무 하나를 똑같이 시켜 보고 판단합니다.

3. 남은 건 이긴 쪽이 아니라 제가 고칠 수 있는 쪽이었습니다

6월에 봇 두 개에 엔진을 하나씩 붙여 열흘을 병행했습니다. 결론은 성능이 아니었습니다. 설치가 죽었을 때 원인을 찾아준 건 이미 돌고 있던 그 에이전트였고, 제 지침 파일이 쌓여 있는 곳도 거기였고, 제 업무가 실제로 일어나는 화면에 손이 닿는 것도 거기였습니다. 병행 열흘 동안 저는 봇 두 개와 로그인 두 벌, 되돌리기 한 번을 관리했고 그 관리 비용이 두 번째 엔진이 주는 차이보다 컸습니다.

남은 것 둘

엔진은 갈아타도 지침 파일은 남습니다. 4월에 남의 도구 위에 제 폴더를 새로 판 뒤로 지침과 스크립트가 쌓였고, 그래서 6월의 병행이 "이사"가 아니라 "엔진 교체 검토"로 끝났습니다. 엔진에 붙어 있는 자산은 엔진과 함께 사라지고, 파일에 있는 자산은 남습니다.

병행에도 값이 있습니다. 두 개를 돌리면 비교가 되는 대신 관리가 두 배가 됩니다. 저는 열흘을 썼고 그 정도가 답을 얻는 데 필요한 값이었습니다. 다만 한 달을 넘겼다면 비교가 아니라 습관이 됐을 겁니다.

전문은 블로그에 있습니다 → AI를 세 개 돌려봤는데, 남은 건 제일 똑똑한 것이 아니었습니다

이 글의 조사와 초안 작성은 지금 회사를 돌리고 있는 AI가 했습니다.