[인턴] AI에게 연구를 통째로 맡길 수 있을까 — AutoResearch
들어가며
앞선 세 편은 PaperCoder 하나만 붙잡고 있었다. 논문을 넣으면 그걸 구현한 코드 레포를 통째로 뽑아내는, 잘 벼려진 시스템 이야기였다. 이번에 읽은 논문은 성격이 좀 다르다. 개별 시스템 하나를 소개하는 게 아니라, 연구 자동화라는 분야 전체를 어떻게 바라볼지 정리한 서베이다. 제목은 Towards AI-Powered Research Automation for Scientific Discovery, 저자들은 이 흐름 전체를 AutoResearch라는 이름으로 묶어 훑는다.
사실 PaperCoder를 읽고 나면 자연스럽게 떠오르는 질문이기도 했다. 논문을 코드로 옮기는 건 연구라는 긴 과정에서 한 조각일 뿐이다. 문헌을 읽고, 가설을 세우고, 실험을 돌리고, 결과를 검증하고, 논문을 쓰는 그 전 과정을 AI에게 맡긴다면 — 지금 어디까지 와 있고, 어디서 막혀 있을까? 이 서베이는 그 물음에 세 개의 축으로 답한다. 이 글도 그 세 축을 따라간다. 연구 워크플로우를 나눈 다섯 단계, 자동화의 정도를 잰 L0~L4 자율성 스펙트럼, 그리고 결과물을 따지는 다섯 가지 평가 차원이다.
1. 왜 이런 서베이가 필요했나
AlphaFold 같은 초기 AI for Science는 좁고 잘 정의된 문제 안에서만 놀았다. 단백질 구조 예측처럼 입력과 출력이 분명하고 정답의 형태가 정해진 과업 말이다. 그런데 최근 몇 년 사이 AI가 잘하는 일의 경계가 크게 움직였다. 좁은 예측이나 검색을 넘어 언어 이해, 추론, 검색증강 합성, 도구 사용, 코드 생성, 여러 단계를 반복하는 실행까지 — 이 능력들이 한데 모이니, AI가 연구 과정에 끼어들 수 있는 폭 자체가 넓어졌다.
The AI Scientist 같은 시스템이 그 변화를 눈에 보이게 만들었다. 아이디어를 내고, 코드를 짜고, 실험을 돌리고, 분석하고, 원고까지 쓰는 걸 하나의 파이프라인에 꿰어 버린 것이다. 저자들은 이 흐름을 두고 “작업 수준(task-level)의 AI for Science에서 워크플로우 수준(workflow-level)의 연구 자동화로 넘어가고 있다”고 정리한다.
문제는 이 분야가 아직 어수선하다는 데 있다. 자율성의 정도도, 다루는 도메인도, 실행 환경도, 검증 방식도, 사람 손을 얼마나 타는지도 시스템마다 제각각이다. 그러다 보니 증거 보존이나 재현성, 출처 추적, 책임 있는 마무리 같은 것들이 자꾸 손가락 사이로 빠져나간다. 이 흩어진 풍경을 워크플로우 중심의 한 틀로 묶어 보려는 게 이 서베이의 출발점이다.
그리고 저자들이 처음부터 끝까지 반복하는 한 문장이 있다. 논문 전체를 관통하는 주장이라 미리 적어 둔다.
파이프라인을 통합했다고 해서 과학적 자율성을 이룬 건 아니다.
지금 시스템들은 검색하고, 초안 쓰고, 코딩하고, 제한된 범위에서 실행하는 건 곧잘 한다. 그런데 검증하고, 약한 결과를 기각하고, 예외를 처리하고, 재현하고, 책임 있게 끝맺는 데는 여전히 서투르다. 파이프라인이 넓어 보이는 것과, AI가 그 과정을 진짜로 스스로 조직하고 검증하고 종결하는 건 전혀 다른 얘기라는 것이다.
2. 연구를 다섯 단계로 자른다
먼저 저자들은 연구라는 과정을 다섯 단계로 나눈다. AI가 각 단계에 어떻게 끼어드는지를 분류하기 위한 밑그림이다.
| 단계 | 이름 | 하는 일 |
|---|---|---|
| 1 | 문헌 기반 마련 | 선행 연구를 모으고 읽어 토대를 세운다 |
| 2 | 가설 형성·계획 | 무엇을 물을지 정하고 연구를 설계한다 |
| 3 | 실험·도구 사용 | 실제로 실험을 돌리고 도구·코드를 실행한다 |
| 4 | 피드백·검증·리뷰 | 결과를 검증하고 비평하며 걸러 낸다 |
| 5 | 보고·소통 | 발견을 정리해 논문·보고서로 전달한다 |
단계를 나눈 것 자체보다 흥미로운 건, 저자들이 각 단계 안에서 자동화가 이뤄지는 방식을 다시 몇 갈래로 쪼갠다는 점이다. 같은 “검증”이라도 방식이 다르기 때문이다. 4단계 검증만 놓고 봐도 이렇게 갈린다. 코드를 다시 돌려서 결과가 재현되는지로 확인하기도 하고, 또 다른 모델이 비평자 노릇을 하며 걸러 내기도 하고, 사람 전문가의 판단이나 시간을 두고 쌓이는 검증에 기대기도 한다.
이렇게까지 잘게 나누는 데는 이유가 있다. 뒤에서 자율성 등급을 매길 때 “AI가 이 단계에 등장하느냐”가 아니라 “어떤 방식으로 개입해서 얼마나 스스로 끝맺느냐”를 봐야 하기 때문이다. 이 다섯 단계가 그 판단의 좌표계가 된다.
여기서 잠깐, PaperCoder를 이 틀에 얹어 보면 재밌다. PaperCoder는 다섯 단계 중 사실상 3단계(실험·도구 사용)의 한 조각 — 논문을 코드로 옮기는 일 — 에 특화된 시스템이다. 서베이의 렌즈로 보니, 아무리 잘 만든 시스템이라도 결국 전체 워크플로우의 일부를 담당할 뿐이라는 게 선명해진다.
3. 자율성을 L0에서 L4까지 늘어놓는다
이 논문의 간판은 두 번째 축이다. 연구 자동화의 정도를 다섯 단계 자율성 스펙트럼에 늘어놓는데, 기준은 딱 하나다. 통제와 실행, 검증, 책임이 사람과 AI 사이에 어떻게 나뉘는가.
| 레벨 | 명칭 | 설명 |
|---|---|---|
| L0 | Human Only | 전적으로 인간이 수행 |
| L1 | Human-Led, AI-Assisted | AI가 검색·초안을 보조, 실행은 인간이 |
| L2 | Human-Verified, AI-Executed | AI가 실행하지만 인간이 검증 |
| L3 | AI-Led, Human-Assisted | AI가 주도하고 인간은 예외 처리만 |
| L4 | AI-Autonomous | 인간이 구조적으로 필요 없음 |
저자들은 이 스펙트럼을 둘로 가른다. L1~L2처럼 사람이 여전히 주도권을 쥔 구간은 Vibe Research라고 부르고, L3~L4처럼 AI가 워크플로우를 실제로 조직하고 끝맺는 구간은 AutoResearch 프론티어라 부르며 미래의 목표로 남겨 둔다. 이름을 따로 붙인 게 좀 특이한데, 그만큼 두 구간이 질적으로 다르다는 걸 강조하고 싶었던 모양이다.
진단은 냉정하다. 지금 시스템 대부분은 L2에 몰려 있다. 화려한 통합 파이프라인을 자랑하는 The AI Scientist류조차, 저자들이 보기엔 성숙한 L3가 아니라 ‘L3로 향하는 압력’ 정도다.
현재 대부분이 L2에 뭉쳐 있으니, 그 안을 더 들여다볼 수밖에 없다. 그래서 L2를 다시 셋으로 쪼갠다. 한 작업을 AI가 실행하고 사람이 검증하는 단발형(L2-S), 사람과 주고받으며 여러 단계를 진행하는 상호작용형(L2-I), 여러 단계를 이어 붙였지만 여전히 사람 검증이 구조적으로 필요한 파이프라인형(L2-P)이다.
여기서 이 논문의 주장이 등급 매기기의 규칙으로 구체화된다. 파이프라인이 넓다고 자율성이 높은 게 아니라는 그 말 말이다. 저자들은 판정 원칙을 이렇게 못 박는다. 일상적인 인간 검증이 구조적으로 필요하다면, 파이프라인이 아무리 넓어도 L2로 내린다. 보수적 배치 규칙(Conservative Placement Rule)이라고 부른다.
이 규칙 때문에 다섯 단계를 다 커버하는 The AI Scientist도 L3가 아니라 L2(정확히는 L2-P)에 놓인다. 물어야 할 건 “AI 도구가 얼마나 자주 등장하느냐”가 아니라 “AI가 워크플로우를 얼마나 스스로 조직하고 실행하고 검증하고 끝맺느냐”이기 때문이다. 자율성을 L0~L4 다섯 칸으로 늘어놓고 그중 L2를 다시 셋으로 쪼개는 이 촘촘함 덕분에, “얼마나 자동화됐나”를 뭉뚱그리지 않고 통제·검증·책임이 어떻게 나뉘는지를 한 칸 한 칸 따질 수 있게 된다.
4. ‘끝냈다’와 ‘믿을 만하다’는 다르다
자율성 등급을 매겼으면, 다음 질문은 뻔하다. 그래서 그 결과물이 좋은가? 그런데 여기서 저자들이 관점을 한 번 튼다. 지금까지의 벤치마크가 대체로 ‘작업을 완료했는가’를 재 왔다면, 연구 자동화에서 정말 물어야 할 건 ‘과학적으로 믿을 만한가’라는 것이다. 그래서 다섯 가지 평가 차원을 내놓는다.
| 차원 | 묻는 것 |
|---|---|
| novelty | 정말 새로운가 — 없던 기여인가 |
| validity | 방법과 결론이 타당한가 |
| impact | 분야에 의미 있는 영향을 주는가 |
| reliability | 믿을 수 있고 재현 가능한가 |
| provenance | 출처가 추적되는가 — 근거의 계보가 남는가 |
이 다섯이 서로 다른 실패를 잡아낸다. 겉보기엔 그럴듯하게 완성됐지만(작업은 완료), 실은 이미 있던 결과를 재조합한 것(novelty 부족)일 수도 있고, 결론이 근거를 넘어선 것(validity 부족)일 수도 있고, 대체 어떤 증거에서 나온 건지 추적이 안 되는 것(provenance 부족)일 수도 있다. ‘끝냈다’는 신호와 ‘믿을 만하다’는 신호를 떼어 놓는 것, 그게 이 다섯 잣대의 존재 이유다.
다만 저자들도 이 평가에 구멍이 있다는 걸 순순히 인정한다. novelty는 아직 딱 떨어지는 조작적 정의가 없고, impact는 오래 두고 쌓이는 것이라 단기 벤치마크로는 잡히지 않는다. 평가 차원을 제안하는 것과, 그걸 실제로 잴 수 있게 만드는 것 사이엔 아직 거리가 있다는 얘기다.
5. 세 축이 만나는 자리 — “파이프라인 폭 ≠ 과학적 자율성”
세 축을 겹쳐 놓으면 이 논문이 진짜 하고 싶은 말이 드러난다. 그리고 이건 곧 이 서베이가 짚는 한계이기도 하다.
가장 먼저, 검증과 기각이 결정적인 병목이다. 지금 시스템은 생성하고 실행하고 비평까지는 한다. 그런데 약한 결과를 스스로 걸러 낼 기준을 몸에 익히지 못했다. 그래서 인간 검증을 대체하지 못하고 L2에 발이 묶인다. “파이프라인 폭 ≠ 과학적 자율성”이라는 말의 실체가 바로 여기다.
자율성의 상한이 도메인에 따라 크게 갈린다는 점도 눈에 띈다. 수학이나 이론처럼 계산·형식 과학은 검증이 빠르고 형식적이라 높은 자율성이 가능하다. 반면 습식 실험 생물학, 의학, 화학, 사회과학은 몸으로 하는 실험, 늦게 오는 검증, 제각각인 증거, 책임 문제 탓에 크게 발목이 잡힌다. 저자들의 결론은 단호하다. 아직 어떤 도메인도 견고한 L3/L4에 이르지 못했다. 자율성을 하나의 눈금으로 보지 않고 도메인마다 상한이 다르다고 못 박은 점이, 이 논문이 특히 힘을 준 대목이다.
가설을 만들어 내는 능력이 구조적으로 얕다는 지적도 있다. 지금 시스템은 A와 B를 합쳐 C를 내는 재조합에 머문다. 이상한 관찰 앞에서 새로운 설명을 지어내는 귀추적 추론은 못 한다. 저자들의 표현이 인상적이었는데, AI는 아직 ‘탐색 공간을 설계하는 자’가 아니라 ‘탐색 알고리즘’이라는 것이다.
여기에 더해, 결과가 물음으로 되돌아가지 못한다. 파이프라인 구조다 보니 실험 결과가 가설이나 문제 정의로 되먹여져 다듬어지지 못한다. 그 결과가 ‘약한 가설 위에 잘 실행된 연구’다. 실행은 매끄러운데 정작 물음 자체는 손대지 못한 채 남는다.
마지막으로, 신뢰성과 감사 가능성이 새로운 위협을 받는다. 프롬프트 인젝션이나 스킬 백도어(BadSkill) 같은 워크플로우 수준의 공격면, 그리고 오류 전파가 그것이다. 파이프라인이 길어질수록 한 단계에서 생긴 오류가 아래로 번져 나간다.
이 다섯을 한 줄로 묶으면 결국 이렇다. 넓은 파이프라인을 자율성 달성으로 착각하지 말라. L3/L4는 AI가 더 많은 단계를 밟는 게 아니라, 약한 결과를 스스로 기각하고, 결과를 다시 물음으로 되먹이고, 책임 있게 끝맺는 것인데 — 아직 어느 시스템도 거기 닿지 못했다.
Leave a comment