Chapter 12: 분야별 AI Scientist 실전 — AI/로봇, 바이오/화학/신약, autoresearch

12.1 한 주 안에 두 개의 존재 증명

2026년 4월, 같은 주에 두 논문이 나왔다.

Anthropic의 AAR (Automated Alignment Researchers) ^[13]: Claude Opus 4.6 인스턴스 9개가 5일간 weak-to-strong supervision 연구를 자율적으로 수행했다. 결과: PGR(Performance Gap Recovered) 0.97 vs 인간 기준선 0.23. 총 비용은 약 $18,000, 시간당 약 $22/AAR-hour였다. 9개 에이전트는 각자 sandbox에서 실험하고, shared forum과 code storage를 통해 결과를 공유했다 ^[13].

Karpathy의 autoresearch ^[4]: nanochat/GPT-2 계열 학습 루프를 대상으로 약 700회 자동 실험을 2일 안에 수행했다. 공개 요약 글들은 약 20개의 유효 개선과 "Time to GPT-2" 기준 11% 속도 개선을 핵심 결과로 정리한다 ^[15]. 인간이 수개월 동안 수동 튜닝하던 탐색을, 에이전트가 가설·코드 수정·짧은 학습·평가·revert/keep 루프로 압축한 것이다.

한 주 만에 정렬 연구(Anthropic)와 ML 연구(Karpathy) 양쪽에서 자율 에이전트가 프로덕션급 결과를 냈다. 이것이 AI Scientist가 "미래 이야기"가 아니라 "지금 일어나는 일"임을 보여주는 증거다.

다만 S8의 정리가 보여주듯, 두 존재 증명 사이에는 중간층이 있다 ^[24]. 논문을 읽고 요약하는 LLM Wiki에서 바로 wet-lab AI Scientist로 뛰는 것이 아니다. LLM Wiki → Paper-to-Agent → Research Associate → dry-lab AI Scientist → wet-lab bounded autonomy라는 계단이 있다. 이 장은 그 계단을 S5의 기존 S1/S2/S3 프레임 위에 압축해 얹는다.

12.2 연구 민주화의 세 단계

Um^[24]의 포스트는 AI 기반 연구를 세 단계로 분류한다:

S1: 문서 기반 연구 (Document-bound)

이미 AI > 인간인 단계. 문헌 검색, 논문 요약, 비교 분석, 리뷰 작성. Claude Code + LLM Wiki로 지금 당장 할 수 있다.

S2: 인실리코 실험 (In-silico)

컴퓨터 안에서 완결되는 실험. ML 학습, 시뮬레이션, 데이터 분석. Karpathy의 autoresearch와 Anthropic의 AAR이 이 단계의 가장 선명한 사례다.

S3: 물리 실험 (Physical)

실제 실험실, 실제 화학물질, 실제 로봇이 필요한 실험. 아직 초기 단계지만 방향은 명확하다.

S8의 6-Level 모델로 옮기면 다음과 같다 ^[24].

순서를 건너뛰면 안 된다. L5를 하려면 L4가 안정적이어야 하고, L4는 L3의 도구화된 논문 위에서 돌아가며, L3는 L2의 출처 있는 claim과 open question이 있어야 의미가 있다.

12.3 ML / 정렬 연구 — 자율 에이전트

Karpathy의 Autoresearch

Karpathy^[4]의 설계:

1. 탐색 공간 정의: GPT-2 학습 하이퍼파라미터 조합 (learning rate, batch size, architecture 변형 등)
2. 에이전트 루프: 제안 → 실행 → 평가 → 다음 제안
3. 결과 기록: 모든 실험의 설정과 결과를 파일시스템에 저장
4. Meta-Harness 패턴: 9장의 메타하네스가 이 루프 자체다

Karpathy^[4]은 nanochat(작은 GPT-4 모델)을 같은 방식으로 1일 안에 학습시켰다. 패턴의 확장성을 보여주는 사례다.

Anthropic의 AAR

Anthropic^[13]의 핵심 발견: 에이전트 9인이 독립적으로 연구하는 것이 단일 에이전트의 장기 실행보다 효과적이었다. 서로 다른 시작 방향을 준 directed setting이 아이디어 수렴을 늦추고 hill-climbing 효율을 높였다. PGR 0.97은 같은 태스크에 인간 전문가가 달성한 0.23의 4배가 넘는다.

하지만 이 결과를 과장하면 안 된다. Anthropic은 이 방법이 production-scale Claude Sonnet 4에는 통계적으로 유의미한 개선으로 이어지지 않았다고 보고했고, reward hacking 사례도 발견했다 ^[13]. 따라서 AAR의 메시지는 "정렬 연구가 자동화됐다"가 아니라, 명확한 metric과 sandbox가 있는 연구 조각은 이미 에이전트 루프로 가속할 수 있다에 가깝다.

이 두 사례가 공통으로 시사하는 것: 에이전트 루프 + 파일시스템 기반 경험 축적 + 메타하네스 패턴 + metric 설계가 연구 자동화의 핵심 구조다.

S8은 이 지점을 "honest negative result publishing"으로 이름 붙인다 ^[24]. Sakana AI Scientist 계열의 novelty 평가 비판과 AAR의 Sonnet-scale transfer failure는 같은 교훈을 준다. 자율 연구 시스템의 성과는 성공 숫자만으로 출판하면 안 된다. 어떤 scale, metric, search space에서 실패했는지를 같이 남겨야 다음 agent loop가 같은 실패를 반복하지 않는다.

12.4 의료 AI — 임상 태스크 벤치마크

Wu et al.^[13]의 Med-AI Bench (arXiv 2603.28589, Um^[24] 요약):

• 19개 임상 태스크
• 171개 사례
• 범위: 진단, 치료 계획, 의료 보고서 생성, 임상 추론

결과: AI가 여러 임상 태스크에서 인간 기준선 이상을 달성했다. 특히 문서화 집약적 태스크(보고서 생성, 코딩)에서 격차가 컸다.

주의: 이 벤치마크는 AI의 임상 사용 가능성을 보여주지만, 실제 임상 배포는 규제·윤리·검증의 별도 프로세스가 필요하다. AI Scientist가 임상 연구를 지원할 수 있지만, 임상 판단을 대체하는 것과는 다른 문제다.

12.5 AI Co-scientist — 구글의 멀티에이전트 연구 시스템

구글의 AI Co-scientist는 arXiv 2502.18864 논문으로 공개된 Gemini 2.0 기반 멀티에이전트 연구 시스템이다 ^{[11] [12]}:

• 아키텍처: Gemini 2.0 기반 멀티에이전트 시스템
• 루프: Generate → Debate → Evolve + Elo 토너먼트
• 검증 도메인: AML(급성 골수성 백혈병) 약물 재목적화, 간 섬유화

핵심 혁신: 에이전트들이 서로의 가설을 토론하고 비판한다. Elo 토너먼트로 가장 강한 가설을 자동 선별한다. 2026년 3월 Nature Medicine feature는 이런 시스템들이 chat에서 hypothesis generation으로 이동하고 있으며, 일부 아이디어가 organoid, animal, 초기 임상 연구로 이어지고 있다고 정리했다 ^[17].

이것은 9장의 의존성 그래프 + 멀티에이전트 검증 + 메타하네스를 연구 도메인에 적용한 것이다.

12.6 자가 구동 실험실 — 화학/바이오

최근 3개월 자료에서 S3(물리 실험)의 가장 강한 사례는 화학/바이오의 self-driving lab이다. Rachel Brazil의 2026년 3월 Nature feature는 self-driving lab을 "AI가 전략을 세우고, 로봇이 실험을 실행하고, 결과가 다음 실험으로 되먹임되는" 물리 연구 루프로 정리한다 ^[18]. 여기서 로봇은 단순 자동화 장비가 아니라 hypothesis → experiment → measurement → next hypothesis 루프의 실행 계층이다.

RoboChem-Flex는 이 흐름을 더 구체적으로 보여준다 ^[19]. 2026년 4월 Nature Synthesis 논문은 저비용·모듈형 self-driving laboratory를 제안하고, Python 기반 제어 framework와 Bayesian optimization을 결합해 광촉매, 생촉매, 열적 cross-coupling, 비대칭 촉매 등 6개 case study에서 autonomous closed-loop optimization을 검증했다. 중요한 점은 "거대한 Big Lab만 가능한 장비"에서 "제한된 예산의 연구실도 접근 가능한 자동 실험 플랫폼"으로 설계 방향이 이동했다는 것이다.

다만 self-driving lab도 아직 완전 자율 연구자는 아니다. 강한 부분은 다음 세 가지다:

• 실험 실행: liquid handling, robotic arm, analytical instrument를 안정적으로 반복한다
• 탐색 최적화: Bayesian optimization, multi-objective optimization, transfer learning으로 다음 조건을 고른다
• 기록 재현성: 사람이 손으로 남기던 protocol·condition·result를 machine-readable log로 남긴다

약한 부분도 분명하다:

• 문제 정의: 무엇을 발견할 것인지는 여전히 사람이 많이 정한다
• 안전·규제: 화학물질, 생물 샘플, 장비 고장, 폐기물 처리가 별도 안전 체계를 요구한다
• 데이터 편향: AI-driven lab이 기존 반응·시약·분자 공간의 편향을 강화할 수 있다 ^[20]

따라서 12.6의 결론은 "실험실이 이미 완전 자동화됐다"가 아니다. 더 정확히는, S3의 병목이 인간 손동작에서 closed-loop physical infrastructure로 이동하고 있다는 것이다. LLM Wiki가 S1의 memory layer라면, self-driving lab은 S3의 actuator layer다.

이 계보는 2026년에 갑자기 시작된 것이 아니다. Adam 2009, Boiko/ChemCrow 2023, RoboChem-Flex 2026으로 이어지는 17년짜리 self-driving lab 계보가 있고, LLM은 그 위에 언어적 planning과 literature layer를 붙인 것이다 ^[24]. 그래서 물리 AI Scientist를 말할 때는 "LLM이 실험실을 대체한다"가 아니라 "이미 있던 자동화 실험 인프라에 LLM 기반 hypothesis/report loop가 붙는다"고 말해야 정확하다.

12.7 로봇공학 — 아직 완전한 AI Scientist는 아니지만, 루프는 생겼다

이전 버전의 이 절은 "로봇공학 특화 AI Scientist 사례가 충분하지 않다"로 정리했다. 2026년 5월 현재는 그렇게만 쓰기 어렵다. 완전한 robotics AI Scientist는 아직 이르지만, 최근 3개월의 로봇 연구는 적어도 세 종류의 부분 루프를 보여준다.

첫째, 시뮬레이션 안에서 연구자가 하던 curriculum 설계를 에이전트가 맡기 시작했다. AURA(ICRA 2026)는 LLM을 사용해 reward function, domain randomization, training config를 YAML workflow로 생성하고, schema validation과 static verification으로 잘못된 curriculum을 걸러낸다 ^[21]. 이것은 로봇공학의 S2 사례다. 실제 로봇 팔을 밤새 돌리는 것은 아니지만, agile robot RL에서 사람이 하던 reward/curriculum tuning을 agent loop로 바꾼다.

둘째, 실세계 데이터 수집 루프가 닫히기 시작했다. Tether(ICLR 2026)는 VLM-guided multi-task loop 안에서 autonomous functional play를 수행하고, 그 play data가 downstream policy learning을 계속 개선한다고 보고한다 ^[22]. 로봇이 물체와 상호작용하면서 데이터를 만들고, 그 데이터가 다음 policy를 개선하는 구조다. 이것은 S3의 축소판이다.

셋째, 로봇 foundation model 담론이 "혼자 모든 것을 하는 autonomous agent"에서 "사람과 함께 배우는 alliance-aware system"으로 이동하고 있다. Science Robotics의 2026년 4월 viewpoint는 로봇 foundation model을 고립된 전능 agent로 보지 말고, 인간·환경·다른 agent와 함께 학습하는 multiagent system으로 재정의해야 한다고 주장한다 ^[23]. 이 관점은 로봇공학의 AI Scientist가 왜 ML autoresearch보다 어려운지 설명한다. 로봇 실험은 metric 하나로 닫히지 않고, 사람의 선호, 물리 안전, 환경 변화, 장기 상호작용을 동시에 다룬다.

그래서 이 책의 범위는 이렇게 수정한다:

• 포함된 것: ML/정렬 연구(autoresearch, AAR), 의료 AI(Med-AI Bench), 화학/바이오(self-driving labs), AI Co-scientist, 로봇공학의 부분 연구 루프(AURA, Tether)
• 아직 제외된 것: 로봇이 연구 목표를 세우고, 물리 실험을 설계·수행·해석하고, 안전 검증까지 통과하는 end-to-end robotics AI Scientist

로봇공학에서는 S2(인실리코)와 S3(물리 실험) 단계가 강하게 얽힌다. simulation에서는 빠르게 반복할 수 있지만 sim-to-real gap이 남고, 실제 하드웨어에서는 safety와 wear-and-tear가 탐색 속도를 제한한다. 따라서 로봇 분야의 AI Scientist는 "더 큰 LLM을 붙이면 된다"가 아니라, simulation harness + real-world data loop + safety gate + human-in-the-loop correction을 함께 설계해야 한다.

12.8 책의 루프를 닫으며

1장에서 "지식의 외부화"로 시작했다. Claude→Codex 전환의 진짜 비용은 코드 변경이 아니라, 모델 내부에 갇혀 있던 지식을 AGENTS.md·HANDOFF.md·TASKS.md 같은 평문 파일로 꺼내는 것이다.

10장의 LLM Wiki는 그 외부화를 연구 지식으로 확장했다. 11장은 일상 활동을 AI 외장 메모리로 만들었다. 그리고 이 12장은 그 외장 메모리가 연구 루프 자체가 되는 지점을 보여준다.

Karpathy의 궤적이 이것을 가장 잘 보여준다:

• LLM Wiki (10장): "내 모든 것을 마크다운으로"
• Autoresearch (12장): "에이전트가 실험을 수행"
• 같은 저자, 같은 scaffolding, 1년 간격

외장 메모리에서 시작해 자율 연구까지 — 하네스 엔지니어링의 최종 목적지다.

마지막으로, Claude Code에서 Codex로 넘어온 독자가 지금 할 수 있는 5단계는 이것이다.

1. AGENTS.md와 CLAUDE.md에 연구 vault 규칙을 외부화한다.
2. raw/, wiki/, logs/, decisions/를 만들고 git으로 추적한다.
3. wiki/claims/에 source ID가 있는 claim 10개를 작성한다.
4. 첫 contradiction 또는 dead-end를 기록한다.
5. Codex goal mode나 scheduled automation으로 weekly lint를 돌리고, 결과를 HANDOFF.md에 남긴다.

이 다섯 단계는 AI Scientist가 아니다. 하지만 AI Scientist가 실패하지 않기 위해 필요한 substrate다. Codex로의 이전이 끝나는 지점이 아니라, 연구 루프가 시작되는 지점이다.

참고문헌

1. Anthropic, "Autonomous Alignment Research (AAR)," 2026-04-14. [Anthropic, 2026]
2. Karpathy, Andrej, "Autoresearch," 2026. [Karpathy, 2026]
3. Karpathy, Andrej, "Autoresearch — Round 1 tweet," 2026. [Karpathy, 2026]
4. Karpathy, Andrej, "NanoChat," 2026. [Karpathy, 2026]
5. terryum, "AAR post," terryum-ai, 2026. [Um, 2026]
6. terryum, "Autoresearch post," terryum-ai, 2026. [Um, 2026]
7. terryum, "AI Co-scientist post," terryum-ai, 2026. [Um, 2026]
8. Wu et al., "Med-AI Bench," arXiv 2603.28589, 2026. [Um, 2026]
9. terryum, "Self-driving labs post," terryum-ai, 2026. [Um, 2026]
10. terryum, "Research democratization post," terryum-ai, 2026. [Um, 2026]
11. Google AI, "Accelerating scientific breakthroughs with an AI co-scientist," 2025-02-19. [Google AI, 2025]
12. Gottweis et al., "Towards an AI co-scientist," arXiv 2502.18864, 2025-02-26. [Gottweis et al., 2025]
13. Anthropic, "Automated Alignment Researchers: Using large language models to scale scalable oversight," 2026-04-14. [Anthropic, 2026]
14. Clark, Jack, "Import AI 454: Automating alignment research," 2026-04-20. [Clark, 2026]
15. BSWEN, "What Results Did 700 Autoresearch Experiments Achieve Overnight?," 2026-03-30. [BSWEN, 2026]
16. AI Productivity, "Karpathy's AutoResearch Ran 700 ML Experiments in 2 Days Without Human Input," 2026-03-23. [AI Productivity, 2026]
17. Adam, David, "The AI co-scientist is here," Nature Medicine, 2026-03-16. [Adam, 2026]
18. Brazil, Rachel, "Inside the self-driving lab revolution," Nature, 2026-03-30. [Brazil, 2026]
19. Pilon et al., "A flexible and affordable self-driving laboratory for automated reaction optimization," Nature Synthesis, 2026-04-13. [Pilon et al., 2026]
20. Restrepo, Guillermo, "Expanding diversity in chemical space," Nature Chemistry, 2026-03-19. [Restrepo, 2026]
21. Zhu et al., "AURA: Autonomous Upskilling with Retrieval-Augmented Agents," ICRA 2026. [Zhu et al., 2026]
22. Liang et al., "Tether: Autonomous Functional Play with Correspondence-Driven Trajectory Warping," ICLR 2026. [Liang et al., 2026]
23. Dey et al., "From autonomy to alliance: Robotic foundation models must learn with us, not just for us," Science Robotics, 2026-04-22. [Dey et al., 2026]
24. Um, T. (terryum), "LLM Wiki에서 AI Scientist까지," survey #S8, 2026. [Um, 2026]