[인턴] 서베이를 AI가 대신 써 준다면 — AutoSurvey
들어가며
지난 편에서 읽은 AutoResearch는 연구 자동화라는 분야 전체를 조망한 지도였다. 문헌 조사부터 보고까지 이어지는 워크플로우를 다섯 단계로 자르고, 자동화의 정도를 L0~L4로 늘어놓고, “파이프라인이 넓다고 자율성이 높은 건 아니다”라고 못 박은 메타 연구였다.
이번에 읽은 AutoSurvey는 결이 정반대다. 조망하는 논문이 아니라, 실제로 돌아가는 시스템이다. 다루는 일도 딱 하나로 좁다. 어떤 분야를 던지면, 그 분야의 문헌을 훑어 서베이 논문 한 편을 써 내는 것. 지난 편의 지도 위에 굳이 얹어 보자면, 문헌 기반 마련(1단계)과 보고·소통(5단계)에 걸친 좁은 구간을, 사람 검증을 전제로 자동화한 사례쯤 된다.
NeurIPS 2024에 나온 이 논문(Westlake University)이 좋았던 건, 문제를 세 개로 또렷하게 쪼개고 각 문제에 해법을 하나씩 정확히 맞물려 놓았다는 점이다. 이 글도 그 짜임을 따라간다. 왜 서베이 쓰기가 어려운지(세 문제) → 어떻게 도는지(4단계 파이프라인) → 세 문제에 세 해법이 어떻게 대응하는지 → 그래서 얼마나 잘하는지, 그리고 어디서 막히는지 순이다.
1. 서베이는 필요한데, 쓰기가 너무 어렵다
서베이 논문은 한 분야의 흐름을 정리하고 앞으로의 방향을 짚어 주는, 말하자면 그 분야에 들어서는 사람에게 가장 먼저 쥐여 주고 싶은 자원이다. 그런데 요즘 이걸 쓰는 게 점점 벅차다. 논문이 너무 빨리, 너무 많이 쏟아지기 때문이다.
저자들이 든 숫자가 인상적이다. 2024년 첫 넉 달 동안 제목이나 초록에 ‘Large Language Model’을 넣은 논문이 arXiv에만 4,000편 넘게 올라왔다. 새 정보가 쌓이는 속도가 사람이 읽고 종합하는 속도를 앞질러 버린 것이다. 그러다 보니 많은 분야에서 제대로 된 서베이가 없고, 이게 지식 전달과 신규 연구자의 진입을 가로막는다.
그럼 LLM에게 맡기면 되지 않을까? 여기서 논문은 걸림돌 세 개를 정직하게 늘어놓는다. 뒤에 나올 해법이 전부 이 셋에 하나씩 대응하니, 미리 붙잡아 두는 게 좋다.
- 컨텍스트 윈도우의 비대칭 — 입력은 10만 토큰도 받는다. 그런데 출력이 짧다. GPT-4가 8k, Claude 3가 4k 남짓이다. 서베이 한 편은 그보다 훨씬 길다. 한 번에 통째로 뱉게 할 수가 없다.
- 파라메트릭 지식의 한계 — 모델이 제 머릿속 지식에만 기대면 있지도 않은 참고문헌을 지어내고(환각 인용), 최신 연구를 반영하지 못한다.
- 평가 벤치마크의 부재 — 잘 썼는지 누가 판정하나. 사람이 일일이 검토하는 건 규모가 안 나온다.
2. 4단계 파이프라인
AutoSurvey는 이 일을 네 단계로 나눠 흐른다. 사람이 서베이를 쓰는 순서 — 자료 모으고, 뼈대 잡고, 각 절을 채우고, 다듬고, 검토하고 — 를 그대로 닮았다.
| 단계 | 이름 | 하는 일 |
|---|---|---|
| 1 | 초기 검색·개요 생성 | RAG로 관련 논문을 검색하고, 컨텍스트에 맞게 나눠 개요를 여러 개 만든 뒤 하나로 통합 |
| 2 | 하위 섹션 병렬 초안 | 여러 LLM이 절 단위로 동시에 초안 작성. 절마다 따로 문헌을 검색해 인용하게 강제 |
| 3 | 통합·개선 | 앞뒤 절의 문맥을 보며 가독성·일관성을 다듬고 인용 오류를 고쳐 병합 |
| 4 | 평가·반복 | 여러 LLM이 심사위원이 되어 채점하고, 후보 여러 개 중 가장 나은 것을 고름 |
눈여겨볼 대목은 1단계와 2단계다. 출력이 짧다는 문제를 여기서 정면으로 우회한다. 1단계에서는 논문을 컨텍스트 크기에 맞게 쪼개 개요를 여러 갈래로 만든 뒤 하나로 합친다. 긴 걸 한 번에 처리하지 않고 나눠서 처리하는 것이다. 2단계에서는 그렇게 잡힌 뼈대의 각 절을 여러 LLM이 병렬로 동시에 써 내려간다. 한 모델이 처음부터 끝까지 순차로 쓰는 게 아니라, 절들을 나눠 맡아 한꺼번에 초안을 뽑는 방식이다.
그리고 2단계에는 중요한 제약이 하나 걸려 있다. 각 절을 쓸 때 그 절에 필요한 문헌을 그때그때 다시 검색해서 인용하게 만든다. 모델 머릿속 기억이 아니라, 실제로 검색해 온 논문에 근거를 대라는 것이다. 환각 인용을 막는 장치다.
3단계는 병렬로 쓴 탓에 생기는 이음매를 손본다. 절들이 따로 쓰였으니 앞뒤 흐름이 어긋나거나 같은 말이 반복될 수 있는데, 인접한 절의 문맥을 함께 보며 매끄럽게 다듬고 인용 오류도 바로잡는다.
3. 세 문제에 세 해법
이 논문의 설계가 깔끔한 건, 1장에서 늘어놓은 세 걸림돌에 파이프라인의 장치가 하나씩 정확히 맞물리기 때문이다. 이 대응 관계가 사실상 논문의 핵심 주장이다.
출력이 짧다 → 병렬 생성. 한 모델이 긴 글을 순차로 뽑는 대신, 여러 LLM이 절을 나눠 동시에 쓰고 나중에 reflection으로 병합한다. 출력 길이의 벽을 정면 돌파하지 않고 잘게 쪼개 우회하는 것이다. 속도 이득도 크다. 순차로 생성하는 naive RAG와 견주면 시간당 처리량이 12.56 대 73.59로 압도적이다.
머릿속 지식은 못 믿는다 → RAG. 개요를 잡을 때도, 각 절을 쓸 때도 arXiv 53만 편에서 그때그때 문헌을 끌어온다. 이게 얼마나 결정적인지는 ablation이 보여 준다. 검색(retrieval)을 떼어 내자 인용 Recall이 83에서 60으로 급락했다. RAG가 장식이 아니라 이 시스템을 지탱하는 뼈대라는 뜻이다.
평가 기준이 없다 → Multi-LLM-as-Judge. 여러 LLM을 심사위원으로 세워, 인용 품질(Recall·Precision)과 콘텐츠 품질(Coverage·Structure·Relevance)을 채점하게 한다. 한 모델이 매기면 그 모델의 편향이 그대로 들어가니, 여럿을 두어 편향을 눌렀다. 인용이 근거에 실제로 지지되는지는 NLI(자연어 추론)로 따로 검증한다.
여기에 하나 더, 아웃라인 기반 구조화가 있다. 절을 병렬로 쓰기 전에 전체 뼈대를 먼저 잡아 두는 것인데, 이게 논리 흐름을 붙잡아 준다. 뒤에서 보겠지만 뼈대 없이 검색 결과를 이어 붙이는 naive RAG는 특히 구조(Structure)에서 약하다.
4. 그래서 얼마나 잘하나
숫자로 보면 결과가 꽤 인상적이다. 64k 토큰 설정에서 인용 Recall 82.25% · Precision 77.41%를 낸다. naive RAG를 전 지표에서 앞서고, 사람이 쓴 서베이(86.33% / 77.78%)에 바짝 붙는다. 있지도 않은 논문을 지어내지 않고, 실제로 근거 있는 인용을 다는 데까지 사람 수준에 근접했다는 얘기다.
콘텐츠 품질도 대체로 naive RAG를 웃돈다. 다만 여기엔 단서가 붙는다. Structure만큼은 여전히 사람이 앞선다. 커버리지나 관련성은 따라잡았어도, 글 전체를 하나의 논리로 꿰는 구성력에서는 아직 사람의 손을 못 넘어선 것이다.
평가 방식 자체의 신뢰성도 짚고 넘어간다. Multi-LLM 심사위원의 순위가 사람의 순위와 얼마나 맞는지 재 보니 Spearman ρ≈0.54, 중간 정도의 상관이다. 완전히 믿을 만하다기보다는, 사람 검토를 어느 정도 대신할 수 있는 참고 지표라는 선에서 받아들이는 게 맞겠다.
5. 어디서 막히나
저자들이 한계를 스스로 꽤 정직하게 분석한다.
가장 눈길이 가는 건 인용 오류의 결이다. 근거에 지지되지 않는 주장 100개를 뜯어봤더니 과잉일반화가 51%, 오정렬이 39%, 오해석이 10%였다. 과잉일반화가 제일 많다는 건 의미심장하다. RAG로 문헌을 붙여 놨는데도 모델이 여전히 제 머릿속 지식에 기대 검색 결과보다 넓게 말해 버린다는 뜻이기 때문이다. RAG가 환각을 크게 줄이긴 해도 완전히 없애지는 못한다.
그다음은 구조·종합의 벽이다. 4장에서 봤듯 인용 품질과 커버리지는 사람에 근접했지만, 구성력과 전체적인 완성도는 아직 사람이 앞선다. 절을 병렬로 잘 뽑는 것과, 그 절들을 하나의 서사로 엮는 건 다른 능력이라는 걸 보여 준다.
반복의 수확 체감도 있다. 4단계의 평가-반복은 처음 한 번엔 효과가 있지만, 2회차를 넘어서면 개선 폭이 미미해진다. 무한정 돌린다고 좋아지지 않는다.
마지막으로 저자들은 범위가 좁다는 점을 분명히 한다. AutoSurvey가 하는 건 서베이 작성 하나뿐이고, 산출물도 완성품이 아니라 ‘참고용’이라고 못 박는다. 사람이 그 위에서 검증하고 다듬는 걸 전제로 만든 도구라는 것이다.
6. 닫으며
AutoSurvey를 지난 편의 지도 위에 다시 놓아 보면 위치가 선명하다. 서베이 작성이라는 좁은 구간에서, 문제를 셋으로 쪼개 각각에 해법을 물린 잘 만든 시스템이다. 그리고 저자들 스스로 산출물이 ‘참고용’이며 사람 검증이 필요하다고 못 박는 대목은, AutoResearch가 말한 “인간 검증이 구조적으로 필요하면 L2”라는 진단과 그대로 겹친다. 화려한 파이프라인이 아니라, 자기 한계를 정확히 아는 도구라는 인상이 남았다.
개인적으로 인상 깊었던 건 과잉일반화 이야기였다. RAG로 근거를 붙여 줘도 모델이 자꾸 검색 결과 너머로 말을 넓혀 버린다는 것 — 근거를 쥐여 주는 것과 근거 안에 머물게 하는 것은 별개의 문제라는 걸 데이터로 보여 준 셈이다. 문헌을 다루는 시스템을 읽고 나서 얻은, 곱씹을 만한 대목이었다.
Leave a comment