한화생명 사내 해커톤 2회차는 둘째 날 아침에 주제를 뽑았고, 참가자는 미리 준비할 수 없었다. 대신 평가 기준을 전날 함께 읽었고, 심사는 자동 1차와 전문가 2차로 나눠 150명분을 걸렀다. 해커톤을 설계한다면 주제보다 규칙 문서와 평가 기준이 먼저 준비돼 있는지 확인하면 된다.
이번 해커톤에서 참가자가 둘째 날 아침까지 받지 못한 것은 주제였다. 2026년 9월 3일 원문에 적었듯이, 우리는 후보 주제를 여러 개 준비해 두고 그중 무엇을 쓸지는 당일 현장에서 뽑았다. 미리 만들어 오는 길을 막는 것이 2회차의 규칙이었다.
무엇이 나올지 모르는 150명을 완주시키려면 주제 말고 다른 것이 먼저 준비돼 있어야 한다. 이번 회차에서 그 자리를 채운 것은 문서로 고정한 규칙과 전날 함께 읽은 평가 기준이었다. 심화반에는 만든 에이전트를 골든셋으로 검증하고 고쳐 다시 돌리는 단계가 하나 더 붙었다.
1회차에서 확인한 참가자 사이의 출발선 차이가 예상보다 컸기 때문에 2회차는 같은 구성을 반복하지 않았다. 1회차 기록이 첫날 설치와 합성 데이터에 무게를 뒀다면, 2회차는 분반과 평가 설계로 무게를 옮겼다.
출발선 차이는 분반으로 흡수하고, 첫날은 다음 날을 수행할 상태만 만들었다
| 항목 | 내용 |
|---|---|
| 일자 | 2026년 7월 15일~16일(2일) |
| 대상 | 한화생명 임직원 약 150명(심화반·기본반 분반) |
| 구성 | 1일차 Claude Code 실습 교육, 2일차 사내 해커톤 |
| 장소 | 사내 교육장 |
오전에는 심화반, 오후에는 기본반이 들어왔다. 두 반이 쓰는 도구는 같았고, 어디까지 가느냐만 달랐다. 주제 영역도 실생활과 금융으로 옮겼다. 매일 마주치는 영역이어야 결과물이 남는다고 봤다.
첫날의 목표는 진도가 아니라 상태였다. 첫날의 첫 공지는 오늘 완벽하게 익히려 하지 말고, 앞 단원이 막혀도 되돌아가지 말라는 것이었다. 도달점은 다음 날 주제를 받았을 때 손이 움직이는 상태 하나다. 그래서 페이지 하나를 회사 스타일 버전과 축제 분위기 버전으로 갈아 끼우고, 캐릭터가 움직이면 이름표가 뜨는 화면 버전까지 만들었다.
오후가 끝나기 30분 전부터는 각자 미니 프로젝트에 들어갔다. 우리가 준비한 주제 세 개 중 하나, 본인이 정한 주제, 낮에 만든 것 더 손보기 가운데서 골랐다. 마지막 15분은 만드는 시간이 아니라 다음 날 무엇으로 평가받는지를 참가자와 함께 읽는 시간이었다. 기준을 모르는 채로 하루를 마치게 두지 않으려는 배치다.
소통 창구는 메모장, 슬라이도, 공유 시트 세 곳으로 나눴다. 종료 전에는 실습 폴더를 지우고 로그인 상태를 확인하는 절차를 안내했다. 금융사 교육에서 이 마무리는 실습 시간과 같은 무게로 챙겨야 한다고 우리는 본다. 범위를 넓게 잡다 보니 원리는 모른 채 화면을 따라 치기만 한 참가자가 있었다. 다음 회차 기획에는 이론 시간을 조금 더 넣을 계획이다.
둘째 날은 규칙 문서와 두 단계 심사가 150명분 제출물을 굴렸다
둘째 날 현장에 놓인 것은 화이트보드와 타이머, 그리고 문서로 만들어 둔 규칙과 과제 설명서였다. 규칙을 미리 문서로 고정한 이유는 하나다. 사고는 대개 규칙이 애매한 틈에서 나오고, 문서가 먼저 있으면 현장에서 해석을 두고 다툴 일이 없다.
제출물 150명분은 사람이 눈으로 전부 훑을 양이 아니어서 심사를 두 번으로 갈랐다. 1차는 자동 평가였다. 미리 정한 기준을 그대로 적용해 세 배수만 남기니 심화반 12명, 기본반 18명이었다. 2차는 이 30명을 사람이 읽는 전문가 평가였고, 여기서 심화반 4명과 기본반 6명이 최종 선발됐다.
이번 회차에서 우리가 가장 잘한 설계로 꼽는 것은 평가 기준의 전날 공개와 두 단계 심사, 둘이다. 자동 평가는 미리 적어 둔 기준이 있어야 돌아가므로 둘을 따로 떼어 보지 않는다.
심화반의 도달점은 완성이 아니라 골든셋으로 돌린 검증 한 바퀴였다
기본반이 결과물을 내는 데서 멈췄다면 심화반은 한 단계 더 갔다. 심화반이 답해야 했던 질문은 하나다. 만든 에이전트가 제대로 동작하는지를 무엇으로 아는가. 답은 골든셋, 특정 입력에 어떤 답이 나와야 하는지를 미리 적어 둔 정답 묶음이었다. 참가자는 검증에 앞서 이 골든셋부터 만들고, 그 기준으로 자기 에이전트를 돌려 어디서 틀리는지 확인하고, 고친 뒤 다시 돌렸다.
우리는 이 한 바퀴가 실무에서 AI를 쓸 때 가장 어려운 지점이라고 본다. 그럴듯하게 답하는 것과 믿고 맡길 수 있는 것 사이에는 거리가 있고, 심화반이라면 그 거리를 건너는 데까지 가야 한다고 잡았다.
전날 읽은 평가 기준과 심화반의 골든셋은 성격이 같다. 둘 다 무엇이 맞는 결과인지를 문서로 적어 둔 것이고, 결과물은 그 문서에 대 본다. 주제는 당일 아침에야 나오니, 전날 밤 참가자가 손에 쥔 것은 주제가 아니라 기준이었다.
심화반 주제에 쓴 데이터는 다음 회차 전에 더 다듬어야 한다. 데이터가 부실하면 골든셋을 정확히 적어도 검증은 거기서 멈추고, 실습의 품질은 데이터의 품질을 넘지 못한다.
가져갈 것
- 주제를 여러 개 준비해 두고 당일 아침에 하나를 뽑아, 참가자가 미리 만들어 올 수 없게 했는가
- 규칙과 과제 설명서를 현장 전에 문서로 만들었는가
- 평가 기준을 전날 마지막 시간에 참가자와 함께 읽었는가
- 미리 정한 기준으로 1차 자동 평가를 돌려 세 배수를 추리고, 2차 전문가 평가로 최종 선발하는 두 단계를 설계했는가
- 심화반 과제에 골든셋(입력과 기대 답의 묶음)을 만들고 그 기준으로 자기 에이전트를 돌려 고친 뒤 다시 돌리는 한 바퀴가 들어 있는가
안 되는 경우
- 첫 회차인 조직. 분반의 근거는 1회차에서 확인한 출발선 차이였다. 앞선 회차가 없다면 반을 가를 기준을 따로 찾아야 한다.
- 평가 기준을 전날까지 확정할 수 없는 경우. 1차 자동 평가는 미리 정한 기준을 전제로 돌아갔다. 기준이 없으면 세 배수를 추리는 단계가 성립하지 않는다.
- 과제 데이터가 준비되지 않은 심화반. 우리 스스로 데이터를 더 다듬어야 한다고 적었을 만큼, 데이터가 부실하면 검증 한 바퀴는 형식만 남는다.
- 원문이 밝히지 않은 것: 심화반과 기본반의 인원 비율, 당일 뽑힌 주제, 자동 평가에 쓴 기준 항목과 도구, 해커톤 진행 시간, 제출물의 형태, 심화반 과제 데이터의 내용, 골든셋과 에이전트 제작의 선후, 시상 여부.
사내 해커톤을 기획하고 있다면 이번 주에 바꿀 것은 기획서의 작성 순서다. 주제 칸을 비워 둔 채 규칙 문서와 평가 기준부터 채우고, 그 기준을 참가자에게 전날 읽힐 수 있는지 확인하면 주제는 당일에 뽑아도 된다. 심화 과제라면 만든 뒤 골든셋으로 검증하고 고쳐 다시 돌리는 한 바퀴를 과제에 넣는다. 이 순서로 사전 교육과 해커톤 설계, 평가 규칙을 한 묶음으로 짜는 것이 조녁컴퍼니가 한화생명과 두 회차에 걸쳐 한 일이다. 사업영역 →