EP 105
AI가 연구를 할 수 있을까?
오프닝과 오늘의 주제 00:00
최승준 안녕하세요. 녹화를 하고 있는 오늘은 2026년 7월 18일인데요. 저희가 진행하도록 하겠습니다. 종현님, 어떤 이야기 준비해 주셨나요?
박종현 일단 첫 번째로 AI와 리서치에 대해 이야기하려고 합니다. 큰 학회 기간을 거치고 연구자들을 만나고 관련 연구들을 많이 보면서 떠오른 시대의 질문 중 하나죠. AI가 리서치를 할 수 있을까? 그것에 대해 주요 사례들과 지금 어떻게 흘러가고 있는지, 그다음에 저희 생각을 이야기하도록 하겠습니다.
리젝당한 PPO 논문과 피어리뷰의 한계 00:30
박종현 첫 번째로 소개해 드릴 내용은 John Schulman은 OpenAI의 공동 창업자이고 지금은 Thinking Machines Lab에 있죠. PPO라는 강화학습 쪽에서, 특히 ChatGPT가 가장 잘나가던 RLHF, 휴먼 피드백을 이용한 RL을 하던 기법에 가장 많이 쓰이는 알고리즘인데 이 알고리즘의 논문이 실제로 2017년에 리젝당했다고 하더라고요.
최승준 그런 일이 있었군요.
박종현 저도 몰랐는데, 한 달 전에 올라온 트윗인데 조회 수가 엄청 많이 나왔어요. 모두가 그런 것을 느끼고 있긴 합니다. 좋은 연구라고 해서 꼭 좋은 학회에 등재가 잘되는 건 아니다. 리젝을 받기도 한다. 그런 것들에 많이 공감하고 있었던 것 같고, 저는 참고로 이 트윗에 리포스트한 다른 논문, Tony Zhao를 생각해 보니까 어쨌든 거기도 거의 리젝당했었다고 하더라고요. 지금은 액션 쪽에서는 인기가 많은 연구인데 정작 리뷰어들은 좋지 않게 봤던 거죠.
최승준 모른다는 거죠.
박종현 이런 사례들이 너무나 많고 다들 각자 분야에서 이런 이야기들이 항상 나옵니다. 연구를 해보신 분들은요.
최승준 PPO가 Policy Optimization 관련이었나요?
박종현 Proximal Policy Optimization이었던 것 같아요. 어쨌든 간략하게만 소개하자면, 이건 ChatGPT에서 어떻게 쓰였냐면 저희가 대화를 하게 되면 사람이 이 대화는 좋았다, 나빴다 같은 평가를 주고 그것을 기반으로 모델을 개선하는 알고리즘이라고 보시면 될 것 같습니다. 사람으로 하다가 사람은 한계가 있으니까 사람을 따라 하는 모델을 또 만들어서 하기도 하고, 그런 식으로 발전하긴 했지만 어쨌든 기본적으로는 그런 데 사용했고요.
그런데 여기서 하고 싶었던 이야기는 리젝도 리젝인데, 저자들 본인들도 미래에 GPT, 그러니까 LLM에서 이 PPO라는 알고리즘이 굉장히 강력하게 쓰여서 임팩트를 낼 줄은 몰랐던 거예요.
나중에 LLM에 사용되기 전까지는 리뷰어들도 마찬가지고, 심지어 저자들까지도 이게 정말 나중에 큰 임팩트를 낼 수 있을지 확신하기가 어렵다는 거죠.
그러니까 좋은 연구를 평가하는 것 자체가 너무 어렵다. 점수 매기기가 어렵다. 이런 점들을 생각해 볼 수 있겠습니다.
최승준 평가하기 어렵다는 게 오늘의 화두가 될 것 같네요.
AI 슬롭 시대의 arXiv와 학회 02:54
박종현 좋은 안목을 가지기가 어렵다. 비슷한 사례로 학계에서 최근에 있었던 일들을 몇 가지만 짚어보면, 재미있었던 게 arXiv입니다. 결국 저 PPO 논문도 그냥 arXiv에 올라가고 사람들이 다 보고 실제로 인용도 엄청 많이 됐지만, 어디 저널이나 학회에는 실리지 않고 이렇게 된 거거든요.
작년에 arXiv에서 CS 카테고리의 특정 논문은 피어리뷰를 통과한 논문만 접수받겠다, 이런 이야기가 있었어요. 이유는 너무나 간단합니다. 모두 예상하시겠겠지만 AI가 쓴 논문이 너무나 넘쳐나기 때문에 품질 관리도 안 되고, 이런 여러 가지 이슈로 인해 예전처럼 모든 것을 다 공개하는 방식은 제한적으로만 하겠다는 거죠. 이것과 관련해서 Hacker News에서도 언쟁이 많이 오갔어요. 키보드 싸움이 오갔어요.
결국 찬성하는 편은 LLM이 논문을 생성하는 것은 너무나 싼 일인데, 이것이 정말 좋은지 아닌지 검수하고 평가하는 것은 비싸고 어려운 일이기 때문에 어쨌든 arXiv에, 이렇게 표현하긴 그렇지만, LLM을 쓴 논문 중에 어떤 논문들은 연구에 의미를 가지지 않는, 소위 쓰레기 연구들이 많이 있겠죠.
그런 슬롭들이 넘쳐나면 사람들이 arXiv를 떠나게 될 테니까, 결국 좋은 연구들을 모두 잘 공개하기 위해 만든 곳이지만 그렇게 해야 한다. 혹은 원래 arXiv가 피어리뷰 전에 올리고 배포하려고 있는 곳이 아니냐.
PPO 같은 것을 발굴할 수 있는데, 그걸 막으면 어떡하냐. 이런 식의 대립되는 의견이 있는 것 같아요.
최승준 프리프린트였죠. 어쨌든 저널에 내기 전에 미리 낼 수 있는 그런 곳이었던 거잖아요. 문턱이 낮은.
박종현 맨 처음 만들어진 이유는 제가 정확하게는 잘 모릅니다만, 제가 이해하기로는 LLM 이전 시대부터 있었던 거니까요.
최승준 그렇죠. 물리나 수학 쪽에 있었어요.
박종현 리젝 때문에 발굴되지 못하는 것을 올린다, 이런 의미도 있겠지만 그것보다는 저널이나 학회가 너무 느려서 그렇죠.
최승준 6개월 걸리기도 하고, 그 이상 걸리고.
박종현 빠르게 변화하는 학계에서 이미 출판됐을 때는 조금 늦기 때문에, 지식의 공유를 더 빨리 하기 위한 도구로서도 사람들이 많이 좋아했던 것 같습니다.
최승준 그런데 세상이 다시 롤백됐네요.
박종현 그래서 최근 학회들을 보면 똑같은 맥락의 일들이 벌어지는데, 이번 ICML은 2만 3천 편이 투고됐고 6천 편이 수록됐다고 합니다. 저는 대학원생 시절이 10년 전이기 때문에, 제가 대학원생이던 시절에는 규모가 천 단위가 아니라 100편 정도였던 것 같거든요. 출판되는 게 100편이면 많다, 이런 이야기를 많이 했던 것 같은데 정말 많이 바뀐 거죠.
최승준 출판된 논문 자체도 많네요. 6,352편이.
박종현 그러게요. 저는 출판된 논문도 이렇게 많다는 게 조금 놀라긴 했습니다. 그리고 비슷하게 ICLR이라는 학회에서도 리뷰가 엄청 많이 있었는데, 그 리뷰 중 상당 부분이 완전히 AI로 작성됐다고 하더라고요. 그러니까 논문 작성이 쉬워져서 논문의 품질이 평균적으로 내려간 것뿐만 아니라 리뷰가 감당이 안 되니까 리뷰도 AI를 돌려서 하다 보니 리뷰 품질도 내려가게 되는 거죠.
이번 ICML에서도 그런 이야기들이 있었습니다. 리뷰 트랙의 정책을 나눠서 AI와 함께 리뷰하기, AI 없이 실제 사람이 리뷰하기, 이렇게 나눠서 진행했던 것 같더라고요. 그런데 사람이 직접 리뷰하기로 해놓고서는 AI로 리뷰한 사실이 적발된 사례들이 있었다고 합니다. 그래서 리뷰에서 배제되고, 어쨌든 지금 학계도 논문을 평가하고 리뷰하는 시스템, 이 시스템에 변화를 겪고 있는 것 같아요. 정답이 어떻게 흘러갈지는 모르겠지만요.
최승준 생산이 압도하고 있으니까 그런 문제들이 생기네요.
박종현 그럼 조금 본질적인 질문으로 돌아가서, 좋은 연구란 무엇일까? 결국 학회의 당락 시스템, 이런 것들이 모두 좋은 연구를 찾기 위한 시스템인데, 저는 좋은 리서치가 어떤 리서치라고 생각하냐면 일단 본질적인 리서치의 의미는, 인류의 지식 전체가 있으면 그것을 조금이라도 늘려 나가는 것, 이게 리서치라고 개인적으로 생각하고요. 그리고 늘려 나간 지점이 실제로 우리 세상에 임팩트를 많이 내고 좋은 방향으로 세상을 바꿔 나가면 그게 좋은 연구다. 저는 이렇게 생각하고 있습니다. 혹시 승준님은 좋은 연구에 대한 정의가 있으실까요?
최승준 그러게요. 생각해 보지는 않았지만, 공감하는 부분은 인류 지식 또는 지혜의 프런티어를 확장하고 개척해 나가는 게 한 측면인 것은 분명한 것 같습니다.
박종현 옛날에 제가 연구하던 대학원생 시절에 고민하다가 요즘 다시 한번 생각해 보게 됐는데, 일단 이런 관점으로 좋은 연구라고 가정하고 가보겠습니다.
최승준 하나 첨언하고 싶은 건 연구 윤리도 중요하다는 겁니다. 인류에 영향을 미치는 것에 대해 여러 종류의 임팩트가 있을 수 있잖아요.
박종현 그러네요. 윤리를 무시하고 연구할 수도 있으니까요. 특히 전쟁하던 시기에는 그런 일들이 많이 벌어지기도 하죠. 어쨌든 이 좋은 연구를 우리가 잘 만들고 평가하고 발굴해야 하는데, 수많은 연구 중에서 그런 걸 해야 하는데 문제가 보상이에요. 이건 LLM을 떠나서 인간 사회에서도 마찬가지로 있는 문제입니다. 지금 인간 사회에서 좋은 연구를 발굴하기 위한 방법은 피어리뷰, 즉 동료 연구자들이 서로 좋은 연구인지 아닌지 판단해 주는 겁니다. 이게 결국 현재의 학계 시스템이죠. 몇백 년 동안 이어져 온 학계 시스템인데요.
최승준 비용을 안 받고 하시지 않나요? 학자분들이 리뷰해 주고 그러는 건 그냥 기여하는 것 아닌가요?
박종현 잘 모르겠네요. 아마 비용이 명시적으로 오가지는 않아도 리뷰하면서 그 소사이어티에 속하고 학회를 조직하는 것들이 큰 인센티브가 될 것이기 때문에 간접적으로는 비용이 무조건 있을 것 같고요. 그리고 확신은 없습니다만, 아마 많은 리뷰에는 돈을 주기도 하는 것으로 알고 있습니다.
박종현 그런가요? 그건 학회나 저널마다 많이 다른 것으로 알고 있습니다. 그리고 어쨌든 이 피어리뷰라는 시스템보다 더 좋은 시스템을 찾지는 못한 것 같아요. 인간 사회에서요.
그런데 지금은 LLM 때문에 균열이 보이기 시작하고, 이게 현재 우리 세대가 가지고 있는 문제 중 하나인 거죠. LLM 같은 경우에는 저희가 여러 번 이야기했지만, RLVR이 좋은 리워드를 바탕으로 지능을 발전시키는 것이 현존 LLM의 지능을 끌어올리는 가장 중요한 방법이고, 그래서 수학 같은 경우에는 뒤에서 조금 더 자세하게 이야기할 건데, IMO 금메달, 수학 올림피아드 금메달 수준까지 작년과 재작년에 이미 도달했죠.
최승준 재작년에 은메달, 작년에 금메달이었던 것 같아요.
박종현 그랬는데 연구 같은 경우에는 verifiable한 리워드를 주기가 지금 어려운 상태이기 때문에, LLM이 좋은 연구를 하기 위한 발전도 조금 쉽지 않은 상황인 것 같고, 인간 사회에서도 마찬가지로 좋은 연구를 잘 발굴하기 어려운 상황인 것 같고요.
재현성: 허깅페이스 리프로듀스 챌린지 10:04
박종현 제가 본, 이 시대의 문제를 해결하기 위한 흥미로운 시도들을 한번 가져와 봤습니다. 첫 번째는 지금 하고 있는 건데요. 허깅페이스에서 ICML 리프로듀스 챌린지라는 걸 하고 있어요. 에이전트들이 논문에 나온 방법들을 실제로 다시 한번 구현해 보고, 그게 괜찮은지 아닌지 검증하는 방법이에요.
이게 학계에서 항상 많이 논란이 되는 부분 중 하나인데, 논문에서 “이런 방법으로 우리는 이렇게 실험해 봤고, 이렇게 좋아졌습니다.” 하고 짜잔 내놓지만, 막상 제가 직접 다시 구현해 보려고 하면 안 되는 경우가 굉장히 많아요. 그러면 리프로듀스가 안 되는 거죠. 그럼 믿기가 어려운 거죠. 그걸 어떻게 검증하느냐? 오픈소스로 다 내놓으라고 할 수도 있겠지만, 실제로 하드웨어 실험이 들어가는 경우도 많고 클로즈드 소스로 된 중요 자산인 시뮬레이터를 이용해서 했는데 이건 공개할 수 없다는 경우도 많고, 그래서 현실적으로 어려움들이 꽤 있습니다. 어쨌든 논문에 나와 있는 논리만 가지고 이런 리프로듀스 챌린지를 하고 있어요. 그러니까 어떤 AI가 쓴 많은 연구들 중에 어떤 slop들은 실험에 실수가 있거나 잘못됐거나, 아니면 극단적으로 가면 실험도 안 하고 가짜로 데이터를 만들었거나 그럴 수도 있는 거죠. 내 논리에 따르면 실험 결과는 이럴 것 같아, 이렇게 그냥 내놓을 수도 있는 거니까.
최승준 그래서 재현이 꽤 됐나요?
박종현 이건 저도 잘 모르겠네요. 지금 다 제출하고 있는 기간이라서 아마 8월 2일에 끝나니까 그 이후에 한번 봐야 할 것 같습니다. 그런데 제 개인적인 예상입니다만, 저 많은 6천 개의 페이퍼들 중에서 과연 얼마나 재현되었을까 하면, 800개 정도 지금 리프로듀스가 되어 있네요.
최승준 그런데 어쨌든 재현됐다는 검증이 된 게 800개 정도라는 거네요. 6천 개 중에 그래도 상당히 많은데요.
박종현 네, 그런 것 같아요. 그런데 이게 반증도 포함일 것 같습니다. 그래서 어쨌든 이 리프로듀스 챌린지는 결국 이 페이퍼 글만 가지고 피어 리뷰를 하던 것에서 실제로 돌려보고 데이터가 진짜로 잘 나오는지까지 검증하는 것이기 때문에 일종의 중간 단계의 리워드라고 볼 수 있겠죠. 그래서 좋은 연구를 위한 필터링의 중간 단계다, 이렇게 볼 수 있을 것 같고요.
리서치 랄프톤 현장 12:27
박종현 그다음에 또 하나, 이거는 특히 저희 한국에서 유행하고 있는 것 중 하나인데, 랄프톤이라는 게 밈적으로 유행하고 수많은 참가자가 엄청 잘 즐기고 있습니다. 저도 현장에 갔다 왔는데, Ralph를 돌려서 해커톤을 하는 챌린지이고요. 콘셉트 자체가 재미있다 보니까 사람들이 다들 Ralph를 돌려놓고 본인들끼리 재미있게 대화하기도 좋고, 네트워킹하기도 좋고, 이번에 ICML 기간을 맞이해서 랄프톤이 리서치 랄프톤이었어요. 그래서 두 가지 해커톤을 한 건데, 첫 번째는 LLM으로 페이퍼 쓰기. 진짜로 연구와 실험을 거쳐서 페이퍼가 나오는 것까지 페이퍼 쓰기. 그다음에 두 번째는 그 페이퍼들을 리뷰하기. 그래서 두 가지 트랙으로 만들어서 랄프톤이 열렸는데, 제가 현장에 계신 분들을 인터뷰했거든요.
그러는데 잠깐 샛길로 빠져서 이야기를 하나만 하자면, 교수님도 오시고, 그다음에 의사 선생님도 오시고, 연구자분들도 오시고, 고등학생도 오더라고요. 그래서 저희 채널에 영상이 올라왔거든요. 현장에서 라이브를 했기 때문에 너무 어려 보이는 친구가 있어서 몇 살이냐고 물어봤더니 15살이라고 하더라고요. 신기해서 뭘 하고 있냐고 물었더니, 자기가 LLM을 열심히 쓰는데 이 컨텍스트에 데이터를 프롬프트로 쭉 채우고 나면 어느 순간부터 성능이 안 좋아지는 것 같다. 그게 언제, 어떻게 안 좋아지는지 알고 싶다. 중요한 데이터는 앞에 와야 하는지, 뒤에 와야 하는지, 이런 것들에 따라 성능이 달라질 텐데 그런 게 궁금하다. 이 친구는 고등학생인데 연구라는 행위를 아마 학교 같은 데서 해보지 않았을 텐데, 정말 연구에 가까운 본인의 질문과 질문을 해결하기 위한 노력들을 알아서 하는 걸 보면서 정말 감탄했습니다.
최승준 고등학생이면 AP, 미국이나 캐나다는 잘 모르겠지만, 어쨌든 어드밴스드 프로그램으로 뭘 일찍 접했을 수도 있고, 어쨌든 그런 일이 있었군요.
박종현 그래서 저도 상당히 인상 깊었고요.
최승준 그런데 구봉 님 인터뷰를 여러 번 하지 않으셨나요?
박종현 네, 처음에 했을 때는 랄프톤이라는 게 만들어지기 전이었죠. 그래서 랄프톤이라는 것을 한번 해보고 싶다.
최승준 밤새워서 하는 것, 그런 거였죠.
박종현 네, 해보고 싶다고 하셔서 첫 번째 인터뷰 때 그런 이야기를 들었었는데, 실제로 랄프톤을 개최하고 샌프란시스코에서도 열고, 싱가포르에서도 열고, 그래서 해외에서도 좋아하고. 그 어린 친구도 랄프톤이라는 게 유니크하고 재미있어서 오고 싶다고 해서 한국에 온 김에 왔다고 하더라고요.
최승준 영상 저도 한번 봐야겠습니다.
박종현 어쨌든 제 생각에 제일 고무적이었던 것은 연구든 코딩이든, 빌딩하는 것 자체가 고통스러울 수도 있는 일인데 그걸 참가자들이 다 즐기는 방식으로 잘 승화해 주신 것 같아서 그건 정말 좋은 것 같습니다. 막간을 이용해 제가 홍보하자면, 여기 나오신 이분이 정구봉 님, 팀어텐션으로서 이 랄프톤을 개최하시는 분인데, 제가 구봉 님이 여는 행사들을 너무나 재미있게 잘 다니고 있습니다. 제가 여유가 될 때 가는데, 가면 항상 무언가 재미있는 장치들이 있어서 잘 즐기고 옵니다.
어쨌든 돌아오면, AI로 페이퍼를 쓰고 AI로 리뷰를 하고, 거기서 점수가 높은 걸 가지고 정렬해서 또 포스터 세션을 열고 이렇게 했어요. 그리고 당연히 진짜 리서처이신 심사위원분들을 모셔서 하기도 하고 그랬는데, 일단 좋은 리뷰 에이전트를 만든 것을 어떻게 심사했는지 이야기해 주셨는데, 심사위원분들이 이런 식으로 리뷰하는구나 해서 좋은 것들을 쫙 뽑았대요.
그리고 사실 하나를 더 뽑았는데, 심사위원들이 AI 페이퍼들을 리뷰한 것과 에이전트가 리뷰한 것의 점수가 비슷한지 보고, 방법론과 상관없이 점수가 비슷한 것을 뽑았더니 결국 그 리뷰 에이전트가 우승하더라. 그래서 이게 무엇이 제일 재미있었던 점이냐고 물어봤더니 이걸 뽑아 주시더라고요. 이걸 보고 저희가 생각해 볼 수 있는 것은 어떤 리뷰의 품질이라는 게, 지금 페이퍼를 평가하는 데도 어려움을 겪고 있는데, 리뷰도 마찬가지입니다.
리뷰 에이전트와 리워드 설계의 문제 16:40
박종현 그럼 좋은 리뷰가 무엇이냐 하면 그것도 어렵잖아요. 그냥 인간 심사위원과의 상관관계를 보는 게 어떤 리뷰의 방법론들보다 더 좋을 수도 있다, 이런 걸 함의하는 것 같아요. 저희가 RLVR도 마찬가지인데, 어떤 좋은 리워드가 하나 있으면 그 안에서 어떤 방법으로 가든 방법을 강제하지 않고 알아서 한번 풀어봐라. 이런 방법론이 이 사례에서도 잘 적용됐다는 거죠. 이런 것들을 한번 생각해 볼 수 있었고요. 어쨌든 이런 시도들 자체가 함의하는 바를 생각해 본다면, 리서치도 리워드를 어떻게 하면 잘 줄 수 있을까? 지금 인간이 리워드를 하나하나 잘 주는 것 자체가 너무나 어려운 일이고, 이 양도 감당이 안 되기 때문에 AI로 어떻게든 잘 한번 해보겠다. 리워드를 주는 것 자체도 이 방향으로 노력하고 있는데, 결국 이건 RLVR, 그러니까 verifiable한 리워드는 아닌 상태인 거죠. 그래도 리워드를 어떻게든 최대한 잘 구체화해 보겠다. 이런 방향의 시도들이 학계에서도 활발한 것 같습니다.
최승준 그러니까 LLM에 루브릭을 줘서 하는 방법들도 요새 많이 쓰이고 있는 것 같긴 한데, 그런 계통일 수도 있겠네요.
박종현 그렇네요. LLM에 루브릭을 주는 이야기를 해 주시니까 또 갑자기 생각나는 게, Kimi K3가 나왔는데 Kimi K2 시절에 그런 LLM을 루브릭을 줘서 최대한 자세하게 평가해서 에이전트 성능을 올리는 게 성공적으로 나와서 Kimi K2가 성능이 좋았다고 알고 있거든요. 같은 방향이라고 볼 수 있겠네요. 충분히 가능성이 있다고도 보이고요.
최승준 이제 슬슬 오늘의 어려운 부분으로 들어갈 것 같은 느낌인데요.
Dwarkesh × Grant Sanderson: 수학과 AI 18:38
박종현 승준 님께서도 이거에 관심을 많이 가지셨고, 그래서 저희가 같이 한번 보기로 해서 같이 본 내용인데, 최근에 Dwarkesh 팟캐스트에 두 편이 올라왔는데, 이게 하나는 전편 Grant Sanderson이라고, 3Blue1Brown이라는 채널로 유명한 수학 설명가, 최고의 설명가라고 표현하더라고요. 수학 설명 유튜브를 너무나 잘 운영하고 계신 분의 인터뷰예요. 그래서 수학에 관련된 이야기, 그다음 뒤에는
최승준 Adam Brown.
박종현 Adam Brown, 네. 지금은 딥마인드에 계시죠. 거기서 슈퍼인텔리전스에 대한 연구를 아마 하고 계시는 것 같고, 원래는 물리학을 하시는 분이죠. Stanford에서 물리를. 그래서 물리와 수학에 대해 두 편이 올라왔는데, 여기서 저희가 보고 느낀 점, 이런 것들을 한번 이야기해 보려고 합니다.
최승준 그래도 앞에 있는 이야기와 연결 꼭지를 좀 설계하신 것 아닌가요?
박종현 결국 수학이나 물리 같은 사이언스, 혹은 순수 연구 분야라고 생각하면 여기서 과연 AI가 breakthrough를 이뤄낼 수 있을 것인가, 그러니까 리서치를 해낼 수 있을 것인가에 대한 이야기, 여기서 중점적으로 그런 부분들만 제가 뽑아왔습니다. 결국 수학의 진보. 네, 그렇죠. 수학 같은 경우에는 최근에 소식들이 많이 들립니다. OpenAI에서 어떤 가설이나 추측들을 증명하는 사례들이 하나둘씩 나오고 있는데, 그런 것들이 breakthrough라고 저희가 느끼고 있는 것 같아요. 그런 기대를 담은 것 같고, 과연 어디까지 갈 수 있을까.
IMO 금메달은 AGI가 아니다 20:13
박종현 제가 이 영상을 보면서 놀랐던 게 처음에 이런 내용이 나오거든요. 3년 전에도 인터뷰를 했었는데, 3년 전 그때 AGI 이야기를 한창 많이 할 때죠. AGI가 될 거냐, 언제 될 거냐. 그래서 AGI가 뭐냐부터 시작해서 AI가 IMO 금메달을 따면 그게 AGI 아닌가요? 그러니까 수학을 엄청 잘한다는 건 진짜 똑똑한 것 아닌가, 이런 질문을 했었는데 그때도 Grant Sanderson이 아니라는 식으로 이야기했다고 하더라고요. 그건 그냥 벤치마크 중 하나다. 그냥 벤치마크 하나 잘 뚫는 것, 지금 LLM들이 너무 잘하고 있는데, 3년 전에도 이미 그런 것처럼 그냥 그거 하나 딱 뚫리는 거지. 그건 일반 지능은 아마 아닐 거다.
그런데 지금 시점에 와서 보면 IMO 금메달을 땄고, 그걸 가지고 우리가 AGI라고 부르진 않죠. 그래서 선견지명이 있었다. 더더욱 저희가 말에 집중하게 된 것 같아요.
최승준 IMO는 사실 비범한 고등학생들이 푸는 대회잖아요. 지금은 수학자들이 다뤄야 할 만한 수학을 모델들이 하고 있으니까 1년 사이에 어마어마해지긴 했습니다.
박종현 제가 이 IMO 금메달을 딸 때도 그런 이야기를 많이 봤었는데, 어떤 회사였는데 GPU 클러스터 사업을 하는 곳의 창업자가 IMO 금메달 출신인 분이 계신데, 그분이 Latent Space에서 그런 이야기를 하시더라고요. 그러니까 IMO 금메달은 수학자의 어떤 입문 컷이다. 그래서 IMO는 6문제를 9시간인가에 풉니다. 이틀 동안, 그러니까 해봐야 10시간짜리 태스크인데, 진짜로 우리가 수학을 연구하는 건 1만 시간, 몇만 시간짜리 태스크이기 때문에 거기로 나아갈 수 있느냐가 다음 과제다, 이런 이야기를 하셨거든요.
그러니까 인간 중에서도 엄청 똑똑한 사람만 풀 수 있는 문제들이지만, 스케일이 크진 않다고 볼 수도 있을 것 같아요.
그래서 Grant Sanderson이 뭐라고 하냐면, IMO의 숨겨진 사실은 엄청 훈련을 많이 할 수 있다는 거다. 그러니까 문제를 계속 풀어볼 수 있다는 거죠.
최승준 노벨티 있는 문제더라도 사실은 훈련 가능한 문제라는 거죠.
박종현 사람이. 네, 그렇다고 이야기하는 것 같아요. 간단하게 제 세상에서 비유해 보자면, 우리가 수학 수능을 푼다고 하면 수많은 기출과 비슷한 문제들을 많이 풀어 훈련하면 수능을 잘 풀 수 있는 느낌이라고, IMO도 그런 측면에서는 다르지 않다는 이야기인 것 같습니다. 그런데 여기서 어떤 이야기를 하냐면, 현재 AI, 아마 작년 기준일 것 같아요. 작년 IMO 금메달 모델들도 아마 다 비슷했을 텐데, 수학 안에서도 분야가 나뉘어 있다는 거죠. 그러니까 저희가 지금 AGI라고 하는데, 수학만 잘 푼다고 그게 AGI가 아니라고 하는 것처럼 왜냐하면 다른 너무 당연한 것들을 못 하기도 하니까 그 수학 안에서도 똑같이 isomorphic, 그러니까 동형으로 수학 안에 대수, 기하, 정수론, 조합 이렇게 있거든요.
참고로 조합이라는 거는 경우의 수 문제, 그걸 말합니다. 그중에서 조합은 안 풀리고 나머지는 너무 쉽게 푼다는 거예요. 그러니까 이 안에서도 뾰족한 지능이 따로 있는 거죠.
최승준 저도 영상을 봤던 기억이 희미하게 나는데 2024년에 기하 문제가 두 문제 나왔으면 그때 금메달을 땄을 거라고 Grant Sanderson이 얘기했던 것 같아요.
박종현 그렇죠. 이게 그래서 IMO가 6문제가 나오는데 과목은 4개라서 분포가 그때그때마다 다릅니다. 그래서 조합이 한 문제 나왔기 때문에 한 문제를 틀리고 나머지는 다 맞아서 그때 은메달인가 그랬었던 것 같아요. 재작년에. 그렇죠. 그런데 제가 수학에 그렇게 조예가 엄청 깊지는 않지만 이걸 물어봤거든요. 수학을 열심히 했었던 친구들한테. 그랬더니 조합 전문가들이 그 안에서도, 사람들 중에서도 또 따로 있대요. 그 안에 나름 수학 안에서도 전공 같은 게 있나 봐요. 조합이 전형적으로 천재들이 잘하는 그런 거라고 합니다. 좀 선천적인 느낌의 과목이라고 하더라고요.
IMO 얘기는 잠깐 여기서 닫고 넘어가면 그래서 좋은 연구를 과연 할 수 있을까, 좋은 연구란 무엇일까, 이런 것들을 조금만 더 수학 관점에서 고민해 보다 보면 과거의 사례들이 떠오르게 되는데 여기서 Dwarkesh도 그렇고 이 Galois, Galois라는 사람이 만든 군론이라고 여기 해석이 되어 있는데 이게 군론이라고 합니다. 그런데 이 군론이라는 거를 생각해 내고 이런 것들이 나왔나 봐요. 그랬는데 그게 진짜로 조명을 받아서 쿼크 예측 같은 데까지 영향을 끼쳤다고 해요. 그게 100년이 걸렸대요. 그러니까 어떤 이론이 나오고 그게 실제로 인간 사회에 임팩트를 줄 때까지, 이게 진짜 좋은 연구였다는 검증이 될 때까지 타임스케일이 엄청나게 길다는 거죠. 그러면 이게 반복이 불가능한 거죠. 이런 점들이 어려워서 지금 현재 LLM의 지능을 끌어올리고 있는 RLVR, 바로바로 보상을 주고 그거에 맞는 방향으로 지능을 발전시키는 이 타임스케일과는 너무 다르기 때문에 이 방법이 여기에 적용되지 않을 거라는 거예요. 그게 어려운 점 중 하나인 거죠.
Galois 군론과 100년짜리 검증 타임스케일 24:27
박종현 그다음에 또 제가 인상 깊었던 게 Grant Sanderson이 어떤 말을 인용하거든요. 좋은 수학자는 정리를 증명하는 것이고 위대한 수학자는 좋은 추측을 하는 것이고
최승준 무슨 무슨 추측, 유명한 추측들이 있죠.
박종현 네, Poincaré 추측 같은 것들이겠죠. 그다음에 정말 최고의 수학자는 정의를 가지고 온다. 좋은 정의를 가지고 온다. 이렇게 얘기하더라고요. 그러니까 저희가 지금 현시대에 보는 연구의 관점은 사실 theorem을 증명하는 것, 어떤 이론이나 가설 이런 것들을 잘 증명하는 것에 지금 머물러 있는 거죠. 그래서 이 뒤까지 과연 AI가 갈 수 있을 것인가, 이게 결국 저희가 생각해 볼 점인데 혹시 어떻게 생각하시나요? 의견이 궁금합니다.
최승준 저도 이 Dwarkesh 편을 종현님하고 같이 보자고 했던 게 사실 Dwarkesh가 기획을 하고 있거든요. 왜 이런 것들이 잘되는 부분이 있지만 여전히 잘 안되는 부분이 있는가, 그리고 특히 과학에서 이런 것들이 확 나아가지 못할 가능성을 계속 집요하게 물고 늘어지거든요. 그런데 그걸 보다 보니까 영향을 받아서 그런지 저도 물음표가 있는 상태이기는 해요. 궁금하거든요. 제 차례에서도 한번 소개하겠지만 잘되는 부분에서는 너무 잘되고, 안되는 부분에서는 계속 안되고, 이 스파이크형이라는 특성이 프랙탈처럼 계속 반복된다는 얘기를 아까 Grant Sanderson도 했는데, 딱 맞는다고 생각합니다. 낮게 달린 열매들은 계속 따겠죠. 그럼에도 불구하고 당장의 가까운 타임프레임 안에서 여전히 인간이 끼어 있어야 하는 방향이 그래도 한 5년은 지속됐으면 좋겠다는 바람을 가지고 있어요.
박종현 어쨌든 현시점에 RLVR을 기반으로 한 지능을 올리는 방법으로는 저 높은 곳까지 가기는 쉽지 않을 것 같다, 이렇게 생각하시는 것 같네요. 저도 비슷하게 생각하고 있습니다.
최승준 하지만 정석님은 좀 다른 관점이 있는데 오늘 정석님이 컨디션이 안 좋으셔서 분명히 한마디 하셨을 텐데 아마 다음번에 들을 수 있을 것 같습니다.
박종현 아마 이 영상을 보시는 분들도 비슷한 고민들을 각자 자기 분야에서 하고 계실 텐데 그거를 오늘은 연구, 특히 과학에 맞춰서 이야기해 보려고 하고요. 과연 좋은 연구를 해낼 수 있을까 하면 저는 충분히 할 수 있을 거라고 생각해요. 저 최고의 수학자에 해당하는 정의를 해내는 거는 잘 모르겠지만 좋은 연구는 할 수 있을 거라고 생각하는 게 이 Grant Sanderson 편에서도 한 가지 사례가 나옵니다. 수론자 몽고메리랑 물리학자 다이슨이 Riemann 제타 같은 얘기를 하더라고요. 어떤 수식 같은 거를 이야기하다가 그거 수학의 뭐랑 물리의 뭐랑 같네, 얘기하면서 서로 무언가 공통점을 찾았다는 거예요.
최승준 프린스턴 고등연구소에서 굉장히 명망 있는 분들이 우연히 만날 수 있게 하는 자리 같은 것들을 마련하는데 아마 그런 점심시간의 일화였나 그랬던 것 같아요.
박종현 점심시간인지 차를 마시는 시간이었는지, 그런 자리에서 그냥 얘기하다가 나왔다고 하더라고요. 저희가 굉장히 다른 분야라고 생각하는 것들에 사실은 공통점들이 엄청 있을 수 있는 거죠. 그게 isomorphic하다, 우리가 동형이다, 이런 이야기를 계속하고 있는데 연구라는 게 인류의 지식을 늘리는 거라고 생각하면 모든 인간이 자기 도메인은 잘 알고 있지만 다른 도메인을 다 잘 알고 있지는 못합니다. 그런데 LLM은 지식 관점에서만 보면 그거를 순식간에 다 잘 알 수가 있죠. 그러니까 이쪽 분야에 있었던 어떤 요소를 저쪽 분야에 딱 적용했을 때, isomorphic하게 적용했을 때 발전이 일어날 수 있는 거거든요. 충분히 이런 관점에서 생각해 보면 인류가 아직 발견하지 못한 지식을 다른 분야의 것들을 가져와서 적용해 늘려 나가는 것이 충분히 가능하다.
최승준 그렇죠. 그런데 개인적으로는 컨텍스트의 저주 때문에 프롬프트로 그거를 하라고 했을 때만 모델이 해요. 왜냐하면 그냥 하라고 하면 분포가 평균적인 쪽으로 향하다 보니까 원래 그 계열에서 할 이야기만 하지, 끌어와 주지 않거든요. 끌어와 달라고 해야만 끌어와 주지. 그래서 그게 아직 인간이 할 수 있는 부분이라고 개인적으로 생각하거든요.
박종현 그거는 말씀해 주시니까 방법들이 많이 떠오르는데 가장 쉽게는 그냥 프롬프트에다가 다른 분야들을 보라고 할 수도 있을 거고 다른 분야들을 일부러 가져와서 집어넣어 줄 수도 있을 거고 아니면 조금 더 RLVR 관점에서 생각해 보자면 LLM이 내뱉는 출력 토큰 중에서 일부러 엔트로피가 낮은 토큰들을 골라서 다른 방향으로도 탐색해 보라고 할 수도 있는 거고.
최승준 그래서 그런 이야기를 작년에 Gwern이 LLM Daydreaming이라는 이름으로 자면서 여러 가지를 연결하게 하는 그런 개념 같은 걸 얘기하기는 했었는데 하여튼 하네스나 그런 걸로도 어느 정도는 극복할 수 있겠네요.
박종현 어쨌든 LLM이라는 게 결국 생각해 보자면 불가능하지는 않다. 이런 지점들을 생각해 봤을 때, 왜냐하면 제가 과거에도, 요즘 빌딩할 때도 마찬가지고요. 리서치했을 때도 마찬가지고, 다른 논문들을 보고 거기서 영감을 받아서 이걸 이쪽에 한번 적용해 봐야겠다, 이런 생각들을 당연히 많이 하거든요. 그런 것들이 충분히 가능하다, 이런 정도의 생각을 가지고 있습니다. 그럼 하나 더 나아가서 최근 편, 이건 물리에 대한 편인데 이게 아마 영상이 한 1시간 40분 정도 될 거거든요. 그중 한 1시간 10분, 20분, 거의 대부분은 진짜 그냥
Adam Brown: 압축이 곧 지능이라는 관점 30:51
최승준 물리학 강의.
박종현 그냥 상대성 이론을 설명해 줍니다. 그것도 물론 엄청 인상 깊은데 결국 그다음은 그럼 AI가 이런 걸 어떻게 할 수 있냐, 이런 거에 대한 이야기를 해요. 그런데 물리의 상대성 이론에 대한 이야기가 당연히 이론적으로 너무 어렵기 때문에 저도 개인적으로 다 이해하지 못했다고 생각하고 있고 그런데 제가 한번 보셨으면 좋겠는 거는 다 이해하지 못하더라도 부분적으로 이해 가능한 부분이 많이 있거든요. 지금 Grant Sanderson의 3Blue1Brown 채널에 현재 연재 중인 영상이 Compression is Intelligence인가, ‘압축이 곧 지능이다’ 이런 이야기를 하거든요.
최승준 엔트로피 얘기를 좀 했었고, 그 시리즈로 하고 있나 보네요.
박종현 아마 3부작인 것 같아요. 그런 이야기를 하는데, 압축이 지능이다, 이런 얘기를 딱 하는데 그게 메인 주제예요. 비슷하게 느꼈어요. 그러니까 아인슈타인이 상대성 이론이라는 걸 만들어 내는 데는 10년, 20년 얼마나 걸렸다, 어떤 아이디어에서 출발했다, 이런 얘기를 엄청 하거든요. 그런데 저희는 그거를 지금 1시간 만에 듣고 있습니다. 그러니까 연구하던 시절에는 이런 생각 저런 생각을 탐색해 보면서 어떤 가설들이 세워지고, 사고 실험을 하고 진짜로 물리적 실험을 하기도 하고 그런 것들을 토대로 쌓인 수많은 지식이 결국 압축되고, 압축되어서 최대한 우리 모두가 이해할 수 있는 수준으로 쉽게 설명해 주는 것, 그것 자체가 지능이다. 이런 류의 이야기를 3Blue1Brown 채널에서 결국 하고 있는 건데 그런 관점에서 한번 봐 보시는 것을 추천드립니다. 이게 저렇게 어려운 게 이렇게도 설명이 가능하구나, 이런 생각이 들기는 합니다.
최승준 그런데 사실 Grant Sanderson이 아무리 시각적으로 풀어 줘도 어려운 건 어렵거든요. 즐겨 보기는 하지만 다 이해하지는 못하고. 그런데 아까 그냥 슬쩍 지나갔는데 Galois나 아벨 같은 사람들이 요절한 천재들의 흥미로운 이야기들이 있는데 그런 다큐멘터리도 Grant Sanderson이 준비하는 것 같더라고요. 수학자들에 대한 다큐멘터리를 AI 시대까지 연결하는 무언가를 하는 것 같은데, 그것도 굉장히 기대됩니다.
박종현 제가 3Blue1Brown 채널은 항상 주변에 추천하거든요. 저도 개인적으로 너무나 도움을 많이 받았기 때문에 제가 실무를 하는 데 있어서, 학교 다닐 때 푸리에 변환 같은 거를 많이 배우고 했지만 제가 실제로 일을 하면서 써야 할 때, 연구하면서 써야 할 때 이해하지 못했는데 그거 한 번 보고 바로 이해했습니다. 시각적인 게 정말 강력하다, 이런 생각을 했고요. 일단 이어가겠습니다. 이론 물리에 관해 이야기하는데 결국 이론 물리가 어려운 점 중 하나가 뭐냐면 실험이 너무나 어렵다는 거예요. 어떤 입자들을 거의 빛의 속도에 가깝게 움직이게 하고 이런 실험들을 해야 어떤 가설들을 하나씩 관찰하게 되는데 결국 뭘 해야 되냐면 그냥 사고 실험을 해야 합니다. 실제 실험이 없는 상태에서 실험 없이 어디까지 갈 수 있는가, AI한테 이거를 맡기겠다는 거죠. 그러면 실험 없이 AI는 과연 연구를 어디까지 해낼 수 있을까라고 하면 거기에 대해서 Adam Brown이 어떤 식으로 이야기하냐면 우리한테 아인슈타인 수준의 지능, LLM이 그 정도 수준의 지능이라고 가정하면 이때까지 인간 역사상에서는 한 번에 한 명밖에 없었지만 혹은 그 정도로 뛰어난 인간들이 계속 있었다고 하더라도 엄청 많지는 않잖아요. 그 사람들이 LLM이라고 치면, LLM은 마구마구 만들어서 다양한 실험들을 머릿속으로 아주 많이 할 수 있으니까 분명히 우리가 훨씬 더 많이 찾아낼 수 있을 것이다. 문제를 그냥 탐색이라고 생각하고 탐색에 컴퓨테이션이라는 큰 리소스를 투자하면 된다. 찾아낼 수 있는 게 엄청나게 많다. 이런 이야기를 하는 거고요.
실험 없는 이론물리와 LLM의 탐색 33:44
박종현 게다가 이 글은 제가 자료들을 쭉 다 주고 이건 Fable 5가 쓴 거거든요. Fable 5가 쓴 말을 제가 쭉 검토하면서 이거는 일부러 좀 남겼습니다. 낭비를 기꺼이 한다고 이렇게 표현하더라고요. 지금 우리가 다 참이라고 생각하는 것들이 사실은 참이 아닌 게 엄청 많았던 거예요. 아인슈타인의 상대성이론 사례에서도 그런 게 엄청 많이 나오거든요. 뉴턴의 만유인력, 중력, 이런 게 우리가 다 참이라고 생각했던 것들인데 사실은 모순점이 많이 있는 거죠. 그런 모순적인 사례들도 이해하기 쉽게 영상 안에서 설명을 많이 해줍니다. 그래서 그런 모순점들을 찾고 나면 그걸 보완하기 위한 새로운 설명이 필요한데, 참이라고 믿는 추측을 다시 재증명하는 데 LLM은 낭비하는 걸 아까워하지 않기 때문에 그런 것들을 하다 보면 충분히 놓쳤던 것들을 찾아낼 수 있다. 그게 아까 처음에 이야기했던 허깅페이스의 리프로듀스 챌린지입니다. 논문들이 peer review를 통과했으니까 다 당연히 맞다고 생각하고 있지만, 굳이 리프로듀스해 가면서 틀렸을 수도 있음을 반증하는 것, 이게 LLM에게는 우리 인간 입장에서는 낭비인데 사실 낭비가 아니라는 거죠. 그래서 이렇게 LLM이 충분히 우리의 연구에 도움을 줄 수 있는 지점들이 현재도 존재한다고 정리할 수 있을 것 같고요.
그럼 앞으로 어떻게 될까라고 했을 때, 당연히 분야마다 속도가 많이 다를 것 같아요. 그래서 머릿속에서 다 돌아갈 수 있는 분야들, 수학, 이론 같은 것들이 당연히 먼저일 것 같고, 그다음에 실제로 실험해야 하는 분야, 예를 들면 바이오라든가 화학 같은 경우는 합성해 봐야 하거나 반응을 봐야 하는 것들은 당연히 조금 느릴 수밖에 없다. 이런 정도의 생각이 떠오르고요. 그리고 지금 당장은 reward를 쉽게 줄 수 있는 분야가 당연히 먼저 갈 거고, 그렇지 않은 분야는 좀 더딜 텐데, 이게 Dwarkesh가 지금 팟캐스트를 하면서 하고 싶은 말인 것 같아요. 이거는 한계가 있다. 이 RLVR 말고 다른 방법이 좀 필요하지 않을까? 혹은 그 앞전 시리즈에서는 pretraining에 한계가 있다. continual learning 같은 것도 하나도 안 된다. 그런 걸 어떻게 해야 우리가 더 높은 지능에 도달할 수 있지 않을까? 이런 맥락의 인터뷰들을 계속해 왔던 걸로 보이는데, 비슷한 맥락으로 가고 있는 것 같아요.
그다음 마지막 궁극적인 목표라고 생각하면, 아까 그 greatest mathematician에 해당하는 정의는 만들 수 있을까? 이거는 끝까지 사람의 몫일까, 아니면 AI의 몫일까? 이런 것들은 사람마다 생각이 다 다를 수 있는 지점일 것 같고요. 저는 개인적으로 AI가 할 수 있지 않을까요? 이렇게 생각합니다. 정의라는 것도 만들면 되는 건데, 그게 좋은 정의냐는 결국 현실에서 그것들이 어떻게 잘 반영돼서 물리적인 현상, 자연의 현상들을 다 잘 설명하느냐에 따라 좋은 정의가 될 텐데, 결국 탐색이라는 search problem과 다르지 않을 수도 있겠다. 어떤 evaluation이 가능하다면, verification이 가능하다면, AI가 이것도 해낼 수 있지 않을까? 그런데 향후 2년 정도의 타임스케일은 아닐 것 같아요. 한참 남은 이야기인 것 같긴 한데, 10년, 20년 이렇게 바라보면 할 수 있지 않을까? 저는 개인적으로 그렇게 생각하고 있습니다.
최승준 2040년, 대충 그 정도 되면 무슨 일이든 일어나겠네요. 그러면 종현님 얘기를 들어봤고, 저도 한번 이어서 가볼까요? 겹치는 부분은 좀 넘어가면서 저도 얘기를 한번 해보겠습니다. 저번 편에도 한 번 언급했지만, 이게 Periodic Labs, 그러니까 OpenAI에 있다가 재료, 물리 같은 걸 하시던 분들이 창업한 건데, 공동 대표인 Liam Fedus가 요새 이런 걸 하고 있다. 실험해야 되니까 공장을 짓고 있다. 이렇게 트윗을 올린 게 생각나서 다시 한번 가져와 봤습니다. 실험으로 루프를 닫아야 하는 영역들이 분명히 있는 것 같고요.
그래서 저는 그 영상을 보고 모델과 대화를 나누다가 ‘지적 자동화 시대에 남는 것들’이라고 글을 좀 생성해 봤어요. 그래서 몇 가지를 강조해 봤는데, 지적 돌파에는 적어도 세 가지 모습이 있다고 Grant Sanderson이 얘기한 것들을 다시 한번 가져와 봤습니다. 그래서 아까 lightning bolt, 그러니까 번갯불같이 서로 다른 두 분야를 놓는 걸 할 수 있고, 그런데 이거는 비교적 쉽다는 거죠. 요즘 시대에는.
지적 자동화 시대에 인간에게 남는 것 39:17
최승준 네, 그렇죠. 그렇죠. 그런데 새로운 산을 쌓는 것은 굉장히 어렵고 시간도 많이 걸리고, 그게 맞는지 안 맞는지도 일찌감치 알 수 없고 평가하기도 어렵습니다. 그래서 이런 종류의 성취는 정답을 맞혔다는 식으로 즉시 평가하기 어렵다. 그것이 정말 생산적인 생각이었는지는 수십 년 뒤에야 드러날 수도 있다. 그런 게 지적 돌파의 세 가지 모습 중 하나고, 나머지 하나가 좀 흥미로웠는데요. 새로운 개념 없이도 엄청난 양의 추론을 밀어붙여 답에 도달하는 것이다. 형식 증명 같은 계통에서는 이미 Mathematica나 Lean 같은 계열에서 자동 증명 기계를 돌리면 인간은 이해하기 어려운 외계 수학 같은 것들을 탐색하는 게 가능했었대요. 기존에도 그게 참임을 보이는 것과 그게 정말 우리가 원하는 것이고 생각을 바꿀 수 있는 아이디어인지를 판정하는 것은 다르다고 Grant Sanderson이 얘기했던 게 생각났습니다.
그래서 인간이 소화할 수 있게 만드는 일이 여전히 중요한데, 그런 걸 설명하는 것도 기계가 잘할 수 있다고 얘기했었거든요. 그래서 이 부분도 생각하게 되지만, 저희 채널에서 저희가 정석님과 종현님과 제가 티키타카를 나누는 데도 관련이 있는 부분이 있는데, 무엇을 설명할 것인가, 어떤 아이디어가 씨름할 가치가 있을 것인가, 어떤 순서로 사람들에게 보여 줄 것인가, 왜 이게 흥미로운가를 고르는 역할은 당분간 여전히 중요하다.
그래서 자신의 존재 가치를 Grant Sanderson이 설정하는 얘기들도 저는 좀 인상 깊었어요. 그래서 아직은 이게 맞아떨어지고 있고, Dwarkesh가 그런 얘기를 했는데, 어려운 걸 자신이 공부하다가 본문을 읽기도 하지만 모델에게 설명하게 할 때 난이도가 확 낮아진다. 그런 얘기에 저도 많이 공감하거든요. 그런데 그렇게 설명하는 글은 잘 쓰지만, 창작 글쓰기는 AI가 썩 잘하지 못하거든요. 잘 쓰긴 하지만 어느 정도 수준을 못 넘어가고 있거든요.
박종현 여기서 말씀하신 창작 글쓰기가 어떤 글쓰기인가요?
최승준 예를 들면 소설 같은 거죠. 종현님도 저번에 한 번 말씀하셨잖아요. 개그나 소설 같은 건 잘 안 된다.
박종현 그렇죠. 개그는 정말 안 되죠.
최승준 그렇죠. 하나도 안 웃기거든요. 그래서 RLVR이 작동하는 것은 최종 결과가 맞냐 틀리냐에 대한 보상을 스칼라로 줄 수 있어야 하잖아요. 그랬을 때 어떤 토큰들이 들어가야 하는지 같은 것의 전체 경로에 보상을 주다 보니까 코딩을 잘하게 되긴 하지만, 각각의 토큰들이 충분히 가치 있느냐는 모르는 일이거든요. 그런데 글쓰기는 각각의 토큰들이 다 최종 결과물이다 보니까 그건 RLVR로는 안 풀릴 것 같다.
그런 얘기를 Dwarkesh가 한 게 좀 인상에 남아 있습니다. 좋은 글은 독자가 어디서 멈칫할지, 어떤 오해를 할지, 어떤 순서로 생각해야 다음 문장을 받아들일 수 있을지 헤아린다. 각 문장과 단어는 단순한 포장이 아니라 바로 내용 그 자체다. 글쓰기는 코드처럼 겉은 지저분해도 결과만 잘 나오면 되는 일이 아니라는 부분이 마음에 울리는 듯한 느낌이 있었습니다. 그래서 중요도를 판단하는 층위가 있어야 한다.
자동화된 지식 생산에서도 무엇이 가치 있는가라는 인간적인 문제는 좀 모호하긴 하겠지만 쉽게 사라지지 않아요. 왜냐하면 모델들도 계속 리뷰를 잘하고 판단을 잘하는 추세로 가고 있기 때문에 영원하지 않을 수 있겠지만, 쉽게 사라지지 않는다는 관점이 Dwarkesh나 Grant Sanderson이 공감하는 내용인 것 같아요. 그렇기 때문에 교사의 위치도 좀 이동한다는 느낌이 있죠. 그래서 여전히 필요한 건 사회적인 관계이기 때문이지, 단순한 설명이 아니라는 거죠. 교사가 하는 교육이 본질적으로 사회적이고 관계적인 활동이기 때문에 여전히 남는 부분이 있을 것이라고 얘기했고요.
결국 이것만 한 번 더 읽어보면, 중요한 것은 어떤 문제가 물을 가치가 있는지 알아보는 감각, 멀리 떨어진 생각들 사이의 연결을 보는 능력, 새 개념이 정말 생산적인지 판단하는 긴 호흡. 긴 호흡이 중요한 것 같아요. 복잡한 결과를 인간이 이해할 수 있는 형태로 압축하는 기술, 그리고 지식의 과잉 속에서 무엇을 볼 가치가 있는가를 안내하는 것 등을, 복잡한 수학에 대한 얘기에서 다 해체하고 Fable 5에게 부탁해서 뼈대만 남겨 본 거였거든요. 그래서 저는 이런 포인트들을 좀 봤습니다.
박종현 제가 글쓰기와 수학을 연결해서 생각을 한번 해보자면, 저는 개인적으로 소설을 엄청 좋아하거든요. 그런데 그럼 뭐가 좋은 소설인지? 나는 이게 왜 재미있지? 라고 하면 설명이 잘 안 돼요.
그리고 수학이라고 생각해 보면, 아까 Lean 얘기를 해 주셨는데 그런 얘기가 있더라고요. Lean 같은 경우에는, 저도 잘은 모릅니다만, IMO에서 재작년에 딥마인드가 메달을 딸 때, 은메달이었죠. Lean으로 코드를 작성했었거든요. Lean이 그냥 수식처럼 생겼어요. 글인데 코드처럼, 수학 코드처럼 생겼는데, 딱 돌리면 그게 true인지 false인지 판단할 수 있는 언어라고 하더라고요. 그래서 Lean을 잘 배우면 수학도 verifiable하게 얼추 바꿀 수 있는 것처럼 이야기하더라고요.
최승준 그렇죠. 그걸 Lean으로 다 번역하긴 해야 돼요. 그런데 올해부터인가는 Lean을 안 쓰고 있어요.
박종현 그렇죠. 그래서 그때 다들 무서워했던 Adam Brown 편의 이야기가 나옵니다. 시대가 지나고 나니 Lean을 쓰는 거나 수학 코드를 쓰는 거나 소설을 쓰는 거나 둘 다 그냥 글을 쓰는 거다. LLM이 토큰을 내뱉는 거라고 가정하면, 수학으로 좋은 연구를 해냈는데 그 아웃풋이 theorem을 증명했는데, 아웃풋이 수백만 줄짜리 Lean 코드예요. 그러면 인간이 그걸 보고 이해하기가 너무 어렵잖아요. 그게 걱정되는 것 중 하나예요. 말하자면 재미없는 소설인 거죠. 설명이 불가능하지만 참이긴 한 거예요.
이걸 많이 걱정했는데, 정작 지금 시점에서 최근에 나온 OpenAI의 어떤 발표들을 보면 그 내용이 이해하기 쉽다고 하더라고요. 그랬더니 Adam Brown이 그런 얘기를 했더니 Dwarkesh가 뭐라고 했냐면, “그거는 님한테만 쉬운 게 아닐까요?” 그런 얘기를 했는데, 어쨌든 정말 똑똑한 인간 기준으로는 설명 불가능한 수준은 아니라는 거죠. 엄청 어려운 말들은 아니라는 거죠. 그러면 인간이 납득 가능한 수준의 설명이라고 Adam Brown이 평가하는 걸 보니까, 그것도 어떻게 보면 좋은 소설에 가까운 것인가? 왜냐하면 인간이 읽었을 때 납득이 가능하다. 그러니까 괜찮다. 이렇게 표현할 수도 있잖아요.
그래서 어떻게 보면 재미없는 소설이 수백만 줄짜리 Lean 코드 증명이고, 재미있는 소설. 이게 인간이 설명, 그러니까 읽고 이해할 수 있는 수준의 설명. 그게 곧 Compression is Intelligence다. 이거랑도 맞닿아 있는 내용인데, 잘 압축해서 설명을 쉽게 만들어 준 글이 똑똑한 글이다. 그리고 그게 어떻게 보면 좋은 소설일 수도 있다. 이렇게 연결될 수도 있지 않을까, 이런 생각을 최근에는 해보고 있었습니다.
그런데 재미있는 소설이랑 이해하기 쉬운 소설은 또 다른 것 같기도 하고요. 그래서 그런 것들이 제가 스스로 생각했을 때도 분류가 명확하지 않고, 그러다 보니까 지금은 잘 안 되는 게 당연한가 싶기는 한데, 과연 이것도 미래에도 그럴까 하면 잘 모르겠어요. 그런데 이것도 당분간은 당연히 안 되긴 하겠죠.
압축과 지능의 계보, 그리고 빈티지 LM 47:28
최승준 그런데 압축 얘기하니까 이게 굉장히 재미있거든요. AGI를 얘기해서 유명해진 사람이, 그러니까 AGI를 많이 유통한 사람이 딥마인드의 공동 창립자인 Shane Legg잖아요. 그런데 Shane Legg의 스승이 Marcus Hutter예요. Marcus Hutter가 어디 등장하냐 하면 Wikipedia 압축으로 prize를 낸 사람이에요. 얼마나 효율적으로 압축하느냐. 그래서 그 압축이 Shane Legg하고 Marcus Hutter의 연구 화두였거든요. AGI로 이어지는. 그런데 그거의 근간이 되는 아이디어가 Solomonoff induction이라는 개념이 있거든요. Solomonoff induction이 그거로 흘러 들어가는 이야기들을 Shane Legg 박사 논문에서 다뤄요.
그런데 그거의 근간 얘기를 또 Ilya Sutskever가 Kolmogorov 복잡도 얘기를 설명할 때 한 번 한 적이 있었거든요. 그래서 지금 저도 이해하지 못하고 하는 얘기이긴 하지만, 그런 근간의 얘기들이 압축과 관련된 것과 지능에 관련된 것들이 algorithmic information theory라는 계통에서 매우 중요하고, 그게 요즘 AI의 근간을 이루는 생각들이라는 생각이 문득 들었습니다.
박종현 네, 저도 요새 그런 생각을 많이 합니다. AI 발전을 보다 보니까, 특히 제가 만약 천 년 전에 태어났다고 생각하면 천 년 전의 어떤 인간이랑 저랑 머리 능력이 그렇게 많이 다를 것 같지는 않거든요. 그런데 천 년 전의 어떤 사람이 할 수 있는 output이랑 제가 지금 해낼 수 있는 output이 너무나 많이 다른데, 그게 인류의 지식이 쌓여서 그런 거잖아요. 그리고 그게 잘 압축되어 있기 때문에 우리가 정규 교육과정을 통해서 자라나면서 너무나 빠르게 머릿속에 다 넣어버렸기 때문에 스무 살이 되면 많은 것들을 할 수 있게 되어 버리는 거죠.
최승준 그렇죠. 스캐폴딩이 이미 머릿속에 많이 들어차 있기 때문에 그걸 도구적으로, 생각의 도구로 활용할 수 있게 되는 부분이 굉장히 많죠.
박종현 그렇죠. 뇌의 하드웨어는 그렇게 많이 다르지는 않을 텐데, 그래서 지식을 압축해서 잘 넣는 게 지능의 본질일 수도 있지 않나, 이런 생각을 하게 됩니다. 거시적인 관점에서.
그런데 그걸 Ted Chiang이 한 번 LLM은 웹의 흐릿한 JPG 압축이라고 해서 한 번 또 도마에 오른 적이 있었는데, 하여튼 일단 쭉쭉 넘어가 보겠습니다. 그런데 저는 학부에서 응용물리를 전공했습니다만, 사실 물리와는 멀거든요. 그래서 그걸 잘 알지는 못하고 있어요. 그래서 그 내용이 저한테도 쉽지는 않았는데, 제가 해본 것은 Adam Brown의 transcript를 주고 이걸 mnemonic book으로 만들어 봤어요. 대화가 나오고, 그다음에 중간에 시뮬레이션 같은 것들, tinkering할 수 있는 게 나오고, 그다음에 뒤에 가서 앞의 것을 물어봐 주는 퀴즈가 나오고, 그래서 기억술을 쓸 수 있는 형태로 만들어 봤었는데요.
그다음에 이 얘기들을 듣다 보면 Ted Chiang이 방금 전에도 나왔었는데, Ted Chiang이 2000년에, 번역서로는 아마 「인류 과학의 진화」라고, 메타휴먼이 나왔을 때 인류는 고고학을 해야 된다. 메타휴먼이 한 연구를 이해하기 위한 노력을 하는, 그런 웃픈 얘기가 나오거든요. 짧은 단편인데 재미있습니다. 그게 하나 생각이 났고, 오늘 후반부 시간을 할애해서 하고 싶은 얘기는 앞서도 말씀드렸지만 Dwarkesh가 집요하게 기획해서 이 과정에 임하고 있다고 저는 생각해요. 그래서 RLVR이 과학에서 유독 취약할지도 모른다. 이게 5월에 나온 블로그 글인데, 그런 기획을 미리 던져 놓고 실제로 적절한 interviewee를 찾아서 인터뷰하는 과정 중에 Michael Nielsen도 있고, 그다음에 이런 과학을 하시는 분들, 수학을 설명하는 Grant Sanderson도 있고 해서 그 기획에 맞춰서 이걸 짜내는 부분이 굉장히 흥미로운 포인트고요. 그래서 RLVR이 작동하지 않을 때 대안은 뭐가 있을까, 같은 걸 상상해 본 편도 있긴 합니다.
그런데 조금 전에 마침 종현님이 옛날 천 년 전 사람 얘기를 하셨잖아요. 그런데 흥미로운 시도가 올해 4월에 있었어요. Alec Radford가 빈티지 LM이라고 해서, GPT를 만든 분이잖아요. 그런데 이분이 1930년대 이전의 데이터만 가지고, 그러니까 그전에 나온 텍스트만 가지고 학습한 언어 모델을 만들었을 때, 과연 pretraining과 RL 같은 걸 써서 1930년대 이후에 일어날 발전 같은 것들을 상상할 수 있을까의 뉘앙스를 가진 실험을 하고 있거든요. 그래서 그런 빈티지 LM이라는 계열들이 생기고 있는데, 저는 개인적으로 흥미롭게 보고 있습니다.
박종현 빈티지 LM이라는 걸 처음 들었는데, 결국 여기서 데이터가 정말 잘 만들어져 있다면 2000년대까지의 기술적인 발전들을 얘가 해낼 수 있으면, 지금 시점 기준으로 앞으로도 당연히 해낼 수 있을 거라고 저희가 당연히 projection해서 상상할 수 있잖아요. 어떻게 보면 증명이라고도 볼 수 있을 것 같아요. 그래서 이걸 지켜보는 것 자체가 미래를 예측하는 데 도움이 많이 될 것 같고, 이 결과에 따라서 생각들이 바뀌고 실제로 행동도 바뀔 수 있겠다는 생각이 듭니다.
최승준 그렇죠. 그래서 이렇게 연결 지어 흥미로운 포인트가 있는 것 같다는 정도 소개를 드리고, 그다음에 요새 일어나고 있는 RLVR의 근간을 이루는 아이디어는 굉장히 오래됐고, Ronald Fisher의 score function 아이디어부터 해서 그건 아주 오래됐어요. 그런데 REINFORCE 알고리즘 자체가 나온 건 1990년대 초반이었던 것 같거든요. 통계학에서 score function이 나온 건 1900년대 초반, 20년대였고, 그다음에 Williams 등이 쓴 policy gradient 쪽으로 나온 게 1990년대 초반. 그렇게 해서 보상을 가지고 강화학습을 할 수 있는 아이디어가, 요즘 LLM에서 하는 RLVR의 근간이 된 아이디어는 굉장히 일찍 나왔었어요.
RLVR와 스스로 파인튜닝하는 모델 52:49
최승준 이걸 제가 이해하는 정도에서 아주 짧게 설명해 보면, x라는 이게 조건부 확률인데, x라는 조건이나 입력이 있을 때 y를 낼 수 있는 모델의 parameter theta가 있는데, 그게 확률을 내거든요. 그런데 score function이라는 것이 결국 확률의 로그를 취한 것의 gradient를 구하는 거예요. 그래서 그걸 잘할 수 있도록 시스템 바깥, 그러니까 모델 바깥에서 보상을 주면, 계산 그래프가 연결돼 있지 않더라도 여기에 scalar를 곱하는 정도이기 때문에 분포를 바꿀 수 있는 느낌이에요.
그래서 objective function을 최적화할 수 있는 쪽인데, LLM에서 이게 작동하는 건 LLM이 확률을 뱉잖아요. 토큰의 확률 logit을 뱉으면 확률이 나오니까, 그 확률에서 나오는 건 vocab이 나오죠. 어떤 토큰이 몇 퍼센트의 확률로 되는 거라고 해서 상위의 몇 퍼센트 정도를 우리가 얻어내고, 그렇게 해서 next-token prediction을 하는 건데, 토큰의 개수가 결국에는 action space라서 LLM이 확률적으로 뱉는 걸 강화하는 게 가능한데, RLVR에서는 코드를 쭉 쓴 다음에 검증기가 바깥에서 테스트를 돌려서 작동했다, 안 했다고 알려주면 그걸 reward R로 넣을 수 있게 돼서, 그 토큰의 모든 궤적이 작동하면 다 높은 확률을 주고, 안 되면 낮은 확률을 주고, 그런데 DeepSeek이 소개한 GRPO 같은 게 그런 것들의 평균적인 baseline을 놓은 다음에 상대평가를 해서, 평균보다 잘하는 것에는 플러스, 못하는 것에는 마이너스해서 그 궤적 자체를 강화하는 방식으로 되잖아요.
그래서 이걸 대강 이해하고 나니까 Dwarkesh가 얘기했었던, 결국에는 어떤 토큰들이 더 잘되는 건지는 최근 연구에서는 물론 그것도 하고 있습니다만, 보장하지 않는 거기 때문에 작동만 하면 되는 거라서 글쓰기는 안 되고, 그런 식으로 또 뭐가 안 되냐 하면 답이 하나가 아닌 것들, 이것도 맞을 수 있고 저것도 맞을 수 있는 것들, 그리고 그런 것들이 함의하는 바가 있는 것들. 그런 것들은 여전히 RLVR로 안 되는 거고, 그런 문제들이 디자인이나 예술에 있는 편이죠.
박종현 네, 제가 여기서 조금만 짚어 보자면 저 x가 input text고 prompt고, y가 output token인 거죠. 그다음에 pi가 LLM이고
최승준 그 확률을 만들어내는 거죠. theta가 LLM의 parameter.
박종현 theta가 LLM parameter고요. 그래서 저 y가 사실 token이 하나가 아니라 N개가 쭈르륵 나오게 되는데, N개가 쭈르륵 나와서 결국 수학 문제를 푼다고 치면, 풀이를 어떻게 썼든지 간에 결국 풀이가 맞으면 전체적으로 그 풀이가 다 맞았겠거니 하고 올리다 보니까 풀이를 얼마나 간결하게 쓰냐, 얼마나 예쁘게 쓰냐, 이런 것들은 제대로 RL을 하기가 힘들다는 거고, 그게 앞서 얘기했던 100만 줄짜리 Lean 코드가 나와버릴 수도 있는데, 그런 것들을 걱정했던 맥락과도 맞닿아 있는 것 같아요.
최승준 맞아요. 그런데 최근 연구들은 그런 것들을 다 꼬집어서 다루려고 여러 가지 regularizer를 쓴다거나, 여러 가지 기법으로 hacking을 하고 있기는 한데, 여전히 근본적으로는 아직 이 regime에 있다고 느껴지기는 해요.
박종현 reward에 그런 요소들을 추가하는 거죠. 얼마나 짧게 풀이를 써서 답에 도달했는가, 이런 것들을 쓰기도 하고, 제가 최근에 디자인을 해보고 있거든요. 저는 개인적으로 엔지니어이기 때문에 당연히 디자인을 잘할 줄 모릅니다. 그래서 어떻게 하고 있냐면, YC에서 자기네들이 AI로 디자인을 어떻게 하는지 보여주는 게 있어요. 저희가 보통 요즘 웹사이트를 돌아다니거나 PPT를 보거나 하면, 그냥 저거 Claude가 만든 디자인이네, 이게 눈에 확 보이거든요. 그런데 YC가 만든 걸 보니까 그런 게 전혀 안 보이는 거예요. 아니, 쟤네는 어떻게 했길래 비슷한 느낌이 아니라 전혀 다른 느낌의 디자인을 이렇게 잘했지 하고 그걸 열심히 따라 해보고 있습니다.
그런데 결국 어떤 식으로 하냐면, 조금 복잡해요. soul도 만들어 주고, mood board도 만들고, 어쩌고저쩌고 다 하는데, 결국 사람이 selection을 합니다. taste에 해당하는 행위들을 다 해요. 그걸 하고, 그다음에 output design이 N가지가 뽑혀 나오면 거기서 또 selection을 하더라고요.
박종현 그러니까 정답이 여러 가지가 될 수 있는 것들을 어떻게 하냐 하면 human이 그 loop에 들어가서 이렇게 pick을 탁탁탁 하는 거죠. 그러니까 taste, 취향에 해당하는 것은 아직 그렇게 꼭 하고 있는 것 같아요. 결국 사람의 취향이니까, 만든 사람의 취향이니까 그게 그냥 마법처럼 딱 나오기가 쉽지는 않다.
최승준 확실히 모델을 만들어서 하는 건 아니고, 그냥 text 수준에서 하는 거죠.
박종현 image 수준이긴 한데, image나 text 수준인데, 어쨌든 token level이죠. image도 token으로 들어가니까.
최승준 극복하는 방법은 물론 있긴 합니다만 아직은 좀 우아하진 않죠.
최승준 그렇죠. 그리고 그게 하나 오늘 소개하고 싶었던 거고, 하지만 그럼에도 불구하고 여전히 잘되는 영역이 많거든요. 그래서 저도 이거 재미있게 읽었었는데, Anthropic이 Bun을 샀잖아요. 그래서 7월 8일에 그거를 Rust로 한 100만 라인 되는 대형 프로젝트를 바꾸는 것에 대한 거의 성공담을 소개한 게 있는데, 이것도 재미있었고 흥미로운 건 이거를 돌리려면 그래도 한 3시간 정도는 전문가가 자기가 알고 있는 걸 다 압축해서 제대로 스펙을 만들고 돌려야 돌아가는 거지, 그냥 되는 건 아니다. 아무리 agent swarm을 써도. 그래서 그런 부분이 좀 인상에 남아 있었고, 이게 내용은 훨씬 더 자세하고 길고 재미있습니다.
오픈 웨이트 모델이 나왔잖아요. 그래서 TML, 아까 John Schulman이 참여하고 있는 TML의 Inkling이라는 모델이 나왔고, 그다음에 Kimi K3, 아까도 언급해 주셨던 Kimi K3가 나왔는데 Inkling이 좀 재미있었던 건 영어에서 Inkling이, 여기 대표 이미지도 잉크의 흔적이긴 한데 저도 의미를 찾아봤더니 희미한 실마리, 예감이라는 뉘앙스가 핵심이래요. 그래서 이게 이제 시작이다. 우리도 모델 규모가 거의 1T에 가까운 모델을 오픈 웨이트로 발표한 것 같은데, 그걸로 뭔가를 보여주기 시작한다는 예고편에 해당하는 느낌이 있었고요.
가장 흥미로웠던 부분은 박재웅 님이라는 분이 블로그에 잘 정리해 주셨는데, 스스로 파인튜닝하는 거. 그래서 Lilian Weng이 「Harness Engineering for Self-Improvement」를 공개했었는데, 그거에 대한 실천 버전으로 자기네들이 하고 있는 것들을 소개해서 이 부분이 핵심인 것 같아요.
크게 보면 파인튜닝 작업을 해서 자신들의 인프라인 Tinker에 올려서 모델 자체를 파인튜닝하는 건데, 여기서 재미있는 얘기가 나오는데 e를 빼고 말하기를 파인튜닝하는 거예요. e를 빼고 창작하는 게 문학 쪽에 있거든요. 울리포라든가 그런 데서 많이 했었던 실험인데, 리포그램이라는 걸 해서 소문자 e나 대문자 E를 빼고서는 창작하게 하는 거거든요. 그런데 그걸 파인튜닝하는 거예요.
박종현 그러면 지금 Inkling이라는 모델을 연결해서 OpenCode를 돌리고 있는데,
최승준 그렇죠. 자기 자신을 파인튜닝하는 거죠.
박종현 그러면 출력 토큰이 점점 바뀌어 가는 거죠.
최승준 스스로를 어떤 특정 목적으로 파인튜닝하는 RSI를 하는 부분이 좀 재미있었고요.
박종현 일단 저 Inkling을 만든 Thinking Machines Lab, TML이 애초에 너무 유명하신 분들이 모여서 만든 곳이다 보니까, OpenAI의 전 CTO였던 Mira Murati가 나가서, 아까 John Schulman도 그렇고 Lilian Weng도 그렇고, 그 외에도 유명하신 분들이 많이 계시잖아요. 그래서 엄청 기대하고 있었는데 한동안 모델이 안 나왔어요.
최승준 모델은 안 나오고 인프라나 페이퍼 몇 개 나왔었죠.
박종현 그렇죠. 파인튜닝 서비스 같은 게 나오고, 최근에는 omnimodality 모델 하나가 나왔었는데 그것도 좀 인상 깊었고요.
최승준 그다음에 자기 개선의 맥락이 계속 글로 나오더라고요. 그래서 TML 말고도 처음 보는 곳인데, AIDE²라는 곳에서도 자기 개선을 모델 웨이트로 하는 게 아니라, 이건 하네스 쪽인 것 같아요. 그런데 지금 그 두 개가 섞여 있거든요. 하네스를 자기 개선하는 방식도 있고, 그 하네스가 모델 웨이트를 업데이트하는 Autoresearch 계열의 하네스라면 모델이 업데이트되는 일이 양쪽에서 다 일어나는 느낌이고요.
문제의 Kimi K3는 저는 아직 사용은 안 해봤고, 글로만 봤을 때는 대단해요. 기술적인 내용들은 블로그에서도 제법 잘 다뤄 줬어요. 제가 이거를 번역해 놓긴 했는데, 돌려보기가 쉽지는 않겠지만 어쨌든 기념비적인 일이죠.
박종현 일단 개인이 돌려보기는 쉽지 않은 크기인데, 저 정도 크기의 모델이 오픈 웨이트로 나왔다는 것부터가 너무 고무적인 일인 것 같고요. 당연히 수많은 GPU 클라우드, 네오클라우드 업체에서 돌리고 서빙하고 OpenRouter로 제공할 거기 때문에
최승준 어떤 기술적인 breakthrough가 있는지는 이것만 봐서는 잘 모르겠는데, Kimi K3도 당연히 MoE 쪽이고 아까 Inkling도 MoE인 것들을 다 공개하고 있고요. 잘하는 것 같고, 심지어는 여기서 자기네들은 칩 디자인을 한다. 중국 쪽은 칩에서 막혀 있는데, 칩 디자인도 하고 있다. Kimi K3가 그런 얘기들도 좀 보이는 것 같고요.
내용 하나하나를 다 공들여 만든, 공들여 만들게 한 흔적이 난다고 해야 할까요? 그리고 심지어 영상 편집도, 하루 전에 티저 영상이 먼저 나왔어요. 그런데 그 티저 영상 자체를 Kimi K3가 편집했다는 얘기까지 해 줬습니다.
Satya Nadella와 Demis Hassabis의 트윗도 좀 재미있긴 했는데, Demis Hassabis의 얘기보다도 일단 Satya Nadella의 역정보 패러독스가 생각해야 할 지점들이 있었던 것 같아요. 지능의 시대에 기업은 자신의 핵심 지식 자산을 어떻게 보호해야 하는가. 빅테크들이 약속해서 학습과 훈련에는 쓰지 않겠다고 하지만, 사용 양태 자체는 데이터로 들어가잖아요. 그런데 그 자체가 굉장히 강력한 정보다. 그래서 역정보 패러독스에 대한 얘기를 한 게 이슈가 많이 됐고, 흥미롭게 생각할 포인트가 있었던 것 같습니다. Demis Hassabis가 있는 Google은 지금 좀 곤란한 것 같아요.
박종현 그리고 저희가 요즘에는 모델이 너무 빠르게 여기저기서 치고 나오다 보니까 이런 것에 일희일비하기도 하는데, 시간 프레임을 연 단위로만 확장해도 연 단위의 스케일에서는 많은 회사가 다 정말 잘 쫓아오고 있거든요. Gemini도 지난번에 나왔을 때는 괜찮다는 호평을 받았던 기간이 꽤 길고, 그러다 보니 좀 기다리면 무언가 문제가 있더라도 다 잘 해결해서 또 잘 나오지 않을까. 특히 데이터도 많고, 하드웨어도 빵빵하게 다 준비해 놓은 기업이기 때문에 Google이
최승준 못 따라올 거라고 상상하기는 어렵지만, 힘내 줬으면 하는 바람이긴 하네요. 인내심을 가지고 조금만 기다리면 나오지 않을까 생각합니다. 그래서 GPT-5.6, 한 주 사용해 보시니까 어떻던가요?
실사용기: GPT-5.6과 Minecraft 에이전트 1:05:26
박종현 그걸 한번 써 보니까 어젯밤에 돌린 게 10시간이 넘도록 안 끝나서 제가 그냥 멈춰 버렸거든요. 그런 점들이 있기는 하더라고요. 굉장히 길게, 정석님이 얘기해 주셨던 test-time compute에 집중하고 있는 점들이 그런 식으로도 드러나는 것 같아요.
최승준 그런데 흥미로웠던 포인트는 제가 요새 Minecraft와 관련해서 만들고 있는 이런 걸 할 때 Fable 5가 잘한다는 선입견을 가지고 작업하고 있었어요. 그래서 이런 식으로 여기서 제가 지시하면 그 모델이 봇을 움직이게 되는데, 그 봇을 모델이 만들고 보통은 그걸 봇이 하다가 막히는 부분이 왜 막히는지를 제가 알고 싶어서, 제가 플레이할 때 봇이 쓰는 명령어를 가지고 제가 플레이하게 인터페이스를 만든 거거든요. 그런데 그걸 상당히 잘 해냈어요.
그런데 하다가 자꾸만, Fable 5로 만들다가 Sol로 리뷰를 해 왔었거든요. 그런데 계속 Sol이 굉장히 강하게 리뷰해서 뭐가 잘못됐다, 잘못됐다고 했더니 Fable 5가 그거에 굴복하더라고요. 그래서 한번 드라이버를 Sol로 줘 봤어요. Sol을 주고서는 저는 HITL로 계속 티키타카하면서 하는 편이어서, 얘기하면서 하는데 Fable 5를 리뷰할 때는 Sol만큼 적대적으로 리뷰하지는 않더라고요. 다 수긍해 주고. 그래서 Sol이 또 이런 리듬으로는 잘하네라는 느낌을 좀 받긴 했습니다.
박종현 그럼 지금 Minecraft에서 방금 ‘여기로 가기’ 했더니 봇이 걸어 다니면서 어디까지 온 것 같은데, 그걸 지금 Sol이랑 Fable 5가 다 만들어서 오고 있는 거죠.
최승준 그렇죠. 그런데 좀 어려운 문제를 푼 건 청크를 대규모로 불러올 때 그걸 어떻게 스트리밍할 거냐 하는 문제들이 좀 어려웠는데, 그걸 Fable 5가 한 게 삑사리가 났는데 그걸 Sol이 해결했죠. 그래서 그런 식으로 활용해 보고 있는 요즘인데, 그게 사실 시간이 너무 없어서. 어떠신가요? 유튜브 같은 거 준비하려면 뉴스도 봐야 하고 읽어야 할 것도 많고, 일상도 살아야 하는데.
박종현 그렇죠. 본업이 있다 보니까.
최승준 그렇죠. 코딩을 시키는 것 자체가 시간 자체가 모자라더라고요.
박종현 저도 그렇습니다.
최승준 그래서 이제는 리모트로 다, 모바일 폰에서도 되는데도 시간 자체가 많이 나지 않는 문제가 있었고요. 오늘 마무리는 약간 광고인데, 제가 몇 번 말씀드렸듯이 토스에서 만든 디자인 스쿨로 알려진 파이 디자인 스쿨에서 AI 수업을 하거든요.
그래서 Minecraft 에이전트를 만들 때도 루프 밖에서 스펙을 만들고 돌리는 작업도 하지만, 루프 안에 들어가서 내가 Rust는 몰라도 지금 진행되는 알고리즘의 핵심 부분 같은 것들을 이해하면서 임하는 모드도 있는데, 저는 이게 왔다 갔다 양쪽을 다 겪어 봐야 한다고 생각하고 있어요.
그래서 그런 걸 알려드리는, 디자인을 원하시는 분들, 디자인을 배우고 싶은 분들에게 알려드리는 작업을 하고 있는데, 제가 맡은 수업 외에도 흥미로운 수업들이 있어서 한번 광고해 봤습니다.
박종현 저도 말씀해 주셔서 한번 들어가 봤는데, 제가 디자인은 전혀 모르지만 디자인을 잘하고 싶다면 가고 싶다는 생각이 들긴 하더라고요.
최승준 그렇죠. 개발자분들도 지원하시더라고요. 직무의 연결선상에서 고민하시는 건지, 피벗 때문에 고민하시는 건지는 몰라도 디자인 기반이 아닌 분들 중에서도 프리코스의 경우에는 1기, 2기에 지원해 주셨는데, 사실 등록금이 거의 대학 등록금만큼 비싸긴 하더라고요. 그렇죠. 만만치 않은 투자를 하긴 해야 할 것 같습니다. 그런데 디자인 분야에서 굉장히 유명하신 분들이나 선수분들이 같이 참여해 주시는 것 같고요. 저는 이런 고민들을 담아내는 수업을 해 볼 생각이었는데요. 오늘 어떠셨나요? 쭉 한번 저희가 미루고 미루었던 Dwarkesh와 Grant Sanderson, Adam Brown 편까지 커버해 봤는데요.
마무리 1:09:51
박종현 일단 오늘은 비즈니스에 대한 이야기는 아니었던 것 같고, 생각을 저 앞까지 펼쳐 나가는 몽상가적인 발상을 해 보고 공유하는 시간이었던 것 같고요. 저는 개인적으로 이런 걸 원래 좋아해서 하는 거 좋아합니다.
최승준 그럼 오늘은 여기까지 하실까요?
박종현 네, 수고하셨습니다.
최승준 재미있었습니다.
박종현 감사합니다.