AI의 변화하는 역학 및 메타-해자
8년 전 Compound에서 AI 투자를 시작한 이래로 우리는 상당히 일관된(데이터에 기반한 미묘한 차이가 있지만) 투자 관점을 유지해 왔습니다. 이러한 관점에는 기술을 둘러싼 타임라인, 특정 유형의 창업자가 AI 분야에서 시작해야 하는 최적의 스타트업 유형, 기업들 사이에서 가치가 창출될 분야, 업계의 변곡점, 혁신이나 실현을 위해 가장 무르익은(그리고 저평가된) 분야 등 모든 것이 담겨 있습니다.
이는 2017년부터 아래의 간단한 프레임워크로 부분적으로 요약할 수 있으며, 지난 몇 년간(2018년, 2019년, 2022년) 연례 서한을 통해 여러 차례 발표되었습니다:
이러한 높은 수준의 프레임워크에도 불구하고, 당시에는 창업자들이 AI 분야에서 회사를 구축하는 동안 탐색해야 하는 다양한 역학 관계에 대한 확신은 그다지 깊지 않았을 것입니다. 이는 업계에서 의미 있는 상업적 성과를 거둔 기업이 없었기 때문에 수년 동안 모든 AI가 매우 생소하게 느껴졌고 합의된 승자가 거의 없었기 때문이었습니다. "모범 사례" 또는 "테이블 스테이크" 운영 원칙도 거의 없었습니다.
AI 기술 접근 방식(그리고 아마도 업계 전체)은 Transformers가 그 길을 선도하고 시간이 지남에 따라 커뮤니티 내에서 다양한 반복 작업(CoT, RAG, MoE, 모델 병합 등)이 빠르게 통합되면서 점점 더 많은 합의를 이루게 되었습니다.
물론 RWKV, SSM 등과 같은 새로운 접근 방식을 통한 새로운 개발도 있지만, 이는 대규모 조직의 스컹크웍스 팀이나 혁신을 목표로 하는 신생 조직을 통해 이루어질 가능성이 더 높으며, 기존 조직(그리고 지난 3년 동안 설립된 대부분의 AI 랩)의 합의된 전제는 컴퓨팅, 데이터, 규모에 기반할 것입니다.
이러한 단조로움은 상당히 단일한 리더가 있고 새로운 카테고리나 산업에 적응하면서 '길을 보여주길 원하는' 인재가 많이 유입되는 산업에서 자연스럽게 발생합니다.
이러한 상업적, 기술적 성공의 변곡점을 통해 2024년 이후 AI 분야의 기업 및 해자 구축과 관련된 새로운 학습이 이루어지고 있습니다.
속도
좋든 나쁘든, 모든 기업은 향후 몇 년 동안 AI 분야에서 직접적으로 또는 죽음의 계단을 통해 치열한 경쟁에 직면하게 될 것입니다. 막대한 단기 자본을 끌어들이는 분야, 폐쇄형 경쟁자를 따돌리려는 오픈 소스 프로젝트, 과대 약속과 과소 제공으로 많은 잡음을 일으키는 제품/기업이 존재할 것입니다. 따라서 단기적으로 스타트업의 주요 목표는 이러한 노이즈 속에서 계속해서 눈에 띄는 것입니다.
AI 기업과 카테고리 전반의 복잡성으로 인해 해자 구축의 뉘앙스는 단기, 중기, 장기 역학 관계로 나뉩니다.
스타트업이 초기에 충분한 해자를 만들 수 있게 되면, 수년 동안 계속해서 속도를 유지해야 하는 단계로 넘어갑니다. 다시 말하지만, 자본은 계속해서 유입되어 많은 사람들이 인식하는 것보다 더 오랜 기간 동안 비즈니스의 여러 벡터에 걸쳐 경쟁을 일으키고, 모델 성능이 상품화됨에 따라 기존 업체들도 일부 영역에서 후발주자가 되기 시작할 것입니다.
즉, 창업자는 불확실한 발전과 속도로 변화하는 소프트웨어 분야에서 위대한 기업들이 하는 모든 일을 다른 사람들보다 더 빠르게 해내야 한다는 뜻입니다. 또한 매우 높은 수준의 작업을 수행해야 하며, 잠재적으로 이전에는 없던 것을 구현하거나 경우에 따라서는 만들어내야 합니다.
업계 전반적으로 이러한 사실을 인지하고 있는 듯하지만, 업계 전반의 자연스러운 압축과 이점 침식을 뛰어넘는 속도로 실행할 수 있는 기업은 거의 없으며, 비슷한 목표를 가진 수많은 기업이 동일한 경쟁의 축에서 경쟁하다가 결국 중요하지 않은 경쟁을 하게 되는 경우가 많습니다.
어떤 면에서는 OpenAI가 시발점을 쏘아 올린 회사이며, 속도 역학을 보여주는 좋은 예입니다.
(경쟁사를 앞지르기 위한 시도로 추정되는) ChatGPT 실험이 성공을 거둔 후, OpenAI의 소규모 팀은 수년간 느리게 움직이던 연구 조직이 변압기와 GPT-2.6을 통해 속담의 틈을 넘은 후 피드백 루프가 더 긴밀한 제품 출시 조직으로 전환할 필요성을 느꼈기 때문에 빠르게 대규모 팀으로 성장하게 되었습니다.
Runway(복합 포트폴리오 회사)나 Perplexity와 같은 다른 조직은 엘리트 스피드를 핵심으로 하는 조직의 좋은 예입니다. 두 회사 모두 아무도 주목하지 않던 회사에서 다양한 기능을 출시하고, 오픈 소스 모델이나 API를 활용하던 방식에서 자체적인 방식으로 전환하면서 제품 기능 세트가 매우 빠른 속도로 심화되면서 급성장했습니다.
이러한 속도를 유지한다고 해서 창업자가 12~24개월에 걸쳐 더 큰 조직으로 '성장'하고 점근화해야만 하는 것은 아닙니다. 대신 AI 분야에서 최고의 기업은 엘리트 단거리 선수인 동시에 가장 빠른 마라톤 선수이기도 해야 합니다.
물론 레이스가 끝났을 때의 상은 엄청나게 가치 있겠지만, 여러 가지 면에서 잘못될 수 있으며, 엉뚱한 전투에 집중할 수 있는 능력은 항상 상수로 존재합니다.
굳이 추측하자면, 초기의 내구성 있는 PMF의 잘못된 징후를 이용하여 단기 게임을 하는 쳇바퀴를 돌다가 다른 스타트업이나 장기 게임(다시 4D 체스)을 하는 회사에 의해 도약하거나 파괴되는 대다수의 회사가 실패하는 것을 보게 될 것입니다.
가장 일반적인 상태는 기본 모델 성능의 향상을 활용하여 제품 가치를 실질적으로 높이는 대신 단기적인 기본 모델 성능에서 점진적인 가치를 창출하는 제품을 구축하는 것입니다.
샘 알트먼은 최근 한 인터뷰에서 간단한 휴리스틱으로 이를 이해하는 방법을 제시했습니다:
"우리가 모델과 그 툴링을 크랭크할 때마다 개선하는 기본적인 일만 하면 'OpenAI가 내 스타트업을 죽였다'는 밈이 생깁니다. 합리적인 관찰자라면 'GPT-4보다 GPT-5가 훨씬 낫다'고 말할 수 있는 무언가를 GPT-3에서 만들고 있다면, 우리가 당신을 좋아하지 않아서가 아니라 단지 사명이 있기 때문에... 우리는 당신을 스팀롤링할 것입니다."라고 말했죠.
반면, 브래드 라이트캡은 같은 인터뷰에서 "100배 개선된 모델에 대해 회사 측에 물어보라"고 말했습니다.
단기 게임의 또 다른 실패 사례는 'X'인 것을 AI를 통해 'Y'인 새로운 것을 만든다는 기형적인 프레임을 가지고 제품을 만드는 경우입니다.
이러한 잠재적으로 파괴적인 방해 요소(여기에 언급되지 않은 다른 많은 요소와 함께)로 인해 창업자는 문화적 관점과 배송 및 실행 관점에서 팀이 이러한 함정에 맞서 싸울 수 있는 구조를 구축해야 한다고 생각합니다.
또한 컴퓨팅, 데이터, 인재와 같은 영역에서 속도에 제한을 받지 않는 인프라를 구축해야 하며, 이 모든 것은 제품 반복의 속도를 조절할 필요가 없고 현재 AI 내에 존재하는 완전히 공격할 수 없는 해자의 부족으로 인해 중단될 가능성이 없는 자본을 통해 가능합니다.
간단히 말해, AI 기업을 구축하는 것은 단순히 생존을 위한 것이 아닙니다.
데이터 플라이휠
멀티모달리티와 확장을 통해 오늘날 AI는 기존 데이터의 '점 연결'을 통해 많은 양의 ROI를 얻을 수 있다는 사실을 알게 되었습니다. LLM의 초기 표준 사례는 모델에 코딩 작업을 학습시켜 서로 관련이 없어 보이는 다양한 작업의 성능을 향상시킨 경우였습니다. 이제 기업들이 이미지, 오디오, 비디오 등으로 인한 성능과 세계 이해를 높이기 위해 LLM 또는 '멀티모달 모델'에서 월드 모델로 전환하면서 멀티모달 전반에 걸쳐 유사한 역학 관계가 나타나고 있습니다.
이를 컨텍스트 윈도우의 지속적인 소멸과 함께 고려하면, 대규모 모델을 사전 학습한 다음 데이터로 미세 조정하는 것이 과거에 사람들이 믿었던 단기 및 중기 해자가 아닐 수도 있다는 것을 의미합니다.
즉, LLM은 훈련 데이터 배포 외에는 실질적으로 인텔리전스를 보여주지 못했으며, 다양한 비언어 전용 작업에서 데이터와 규모를 극대화하기에는 초기에 더 파일 등을 통해 구현된 전통적인 자연어 이해처럼 성능을 극대화할 수 없다는 것을 확인했습니다.
이로 인해 전체 스택을 소유하고 AI 지원 운영 회사를 구축하는 등 당초 예상보다 더 많은 스택을 소유하는 것을 목표로 하는 회사를 점차 선호하게 되었습니다.
의료, 바이오, 산업 등 데이터가 구조적으로 기존 기업 내에 갇혀 있는 산업에 속한 기업도 파트너십 등을 활용할 수 있다면 점점 더 매력적으로 다가오고 있습니다.
이러한 역동성을 통해 일부 기업은 다양한 작업을 위해 고유한 대규모 데이터를 수집하거나 새로운 데이터세트를 생성할 수 있는 맞춤형 워크플로우를 구축할 수 있으며, 무엇보다도 실제 검증과 피드백을 통해 새로운 형태의 Sim2Real 격차, 즉 비트 투 원자 격차로 가장 잘 표현할 수 있는 격차를 좁힐 수 있습니다.
합성 데이터
AI의 모든 시대에 걸쳐 합성 데이터의 가능성은 항상 존재하며, 다른 AI의 과대 광고 사이클과 마찬가지로 특정 분야와 기업이 초유용성을 향해 나아가는 과정에서 합성 데이터가 어떤 역할을 할 수 있는지 파악하는 것이 점점 더 중요해지고 있습니다.
2016년에 처음 이러한 사용 사례에 관심을 갖게 된 것은 인공 지능과 관련된 것이었지만, 전 세계는 그 어느 때보다 AGI, ASI 또는 구현된 지능과 구현되지 않은 지능 전반에 걸쳐 의미 있는 성능의 다음 단계로 발전할 수 있는 합성 데이터의 중요성을 확신하고 있는 것 같습니다. 따라서, 여러 방식에 걸쳐 몇몇 조직이 데이터를 생성하는 데 있어 세계 최고 수준이 되고 이를 복합적인 이점으로 활용한다고 해도 놀랄 일은 아닙니다.
사용자 피드백을 대규모로 배포하고 얻을 수 있는 기업의 경우, 합성 데이터는 다양한 품질의 데이터를 수집하고 그 중 한 자릿수 데이터의 가치만을 실현하기 위해 컴퓨팅 크레딧 더미에 던져 넣는 것보다 더 효율적인 방식으로 모델을 개선할 수 있게 해줄 것입니다.
희박한 데이터 환경에서 운영되는 기업의 경우, 합성 데이터를 사용하면 배포 시점에 더 빨리 도달하거나 '수집 대 구매 대 생성'의 데이터 의사 결정을 내릴 위치를 파악하여 다시 한 번 더 빠르게 확장성과 효율성을 개선할 수 있습니다.
제 가설은 안타깝게도 단기간 내에 조직에서 이 문제를 충분히 우선순위에 두지 않을 것이며, 그렇게 되면 이미 너무 늦을 가능성이 높다는 것입니다. 따라서 기업이 데이터 수집에 대한 암묵적인 트레이드오프에 대해 일관된 가설을 세우고, 그 가설이 지배적인 접근 방식인 이유에 대해 설명하는 것이 가장 중요하다고 조언하고 싶습니다.
시장 타이밍과 인재
2024년의 딥 테크 인재에 대한 더 긴 포스팅을 작성할 예정이지만, 이 주제에 대한 2020년 포스팅의 3번 포인트에서 공유한 많은 의견들이 지난 18개월 동안 AI 업계에 큰 반향을 불러일으켰습니다.
2024년에는 이러한 '순간'을 느낀 연구자 집단이 늘어나고 있으며, 그 어느 때보다 실제 세계에 배포해야 할 필요성을 느끼고 있습니다. 이러한 느낌은 특히 대규모 조직이 연구를 공개적으로 공유하는 데 관심이 줄어들면서 더욱 심해져, 훌륭한 연구와 관련된 영향력이 줄어들고 이제 어떤 형태로든 출시되는 제품과 연계되어 있습니다.
이와 함께 AI 내에서 이상적인 팀 구성에도 변화가 생겼습니다.
AI는 모든 곳에서 인재를 끌어들이기 시작했고, 매우 재능 있는 엔지니어들은 AI 구축으로 인한 일련의 제약 조건에서 문제를 해결하는 방법을 알아낼 수 있게 되었습니다. 이러한 제약 조건은 솔직히 엔지니어(특히 스타트업에서 일한 경험이 있는 엔지니어)에게는 익숙하지만 대규모 메가테크 연구소의 연구원이나 엔지니어에게는 다소 생소하기 때문에, AI 스타트업에서 매우 보완적이고 때로는 더 필요한 기술입니다.
기술 카테고리가 특정 주기의 파동을 거치면서 첫 번째 주요 주기의 학습이 소진됨에 따라 새로운 세대의 인재 흐름 역학이 나타나기 시작합니다.
이는 사람들이 스케일링 스킬셋을 쌓은 후 0-1 스킬셋을 얻기 위해 기존 기업이나 지배적인 기업을 떠나는 것처럼 보일 수 있습니다. 또한 스케일링 스타트업의 유능한 직원들이 현재 심각하게 느낀 문제를 해결하기 위해 떠나는 것처럼 보일 수도 있습니다.
이 단계에서는 맞춤형으로 구축된 인프라와 도구를 조직 외부로 가져와서 다시 개발할 필요가 없는 다음 세대의 스타트업이 사용할 수 있도록 하기 때문에, 업계에서는 종종 인프라/개발 도구의 분사가 활발하게 이루어집니다. 몇 년 전 AirBnB, Ubers 등 전 세계에서 유사한 데이터 중심 사업을 하는 많은 팀이 분사하는 것을 목격했습니다.
다양한 대화를 통해 스택의 일부를 소유하고 있는 기업과 그렇지 않은 기업에 대한 인재들 사이의 합의가 전반적으로 부족하여, 프론티어 랩(OpenAI, Anthropic, DeepGoog, MSR, MetaAI) 또는 미개척 분야(바이오를 위한 기초 모델)에서 일해야 한다고 믿는 인재와 이 모든 것이 무의미하며 다음 혁신은 모델 위에 구축되는 것에서만 나올 것이라고 생각하는 인재로 나뉘고 있습니다.
점진적 스핀아웃 및 인재의 세분화
오랜 기간 동안 성장해 온 분야(모든 딥 테크)에서 최고조에 달할 때, 많은 사람들이 캄브리아기 폭발을 일으킨 기업에서 분사하여 이전 고용주나 기존 기업보다 조금 더 나은 기업으로 재창출하는 역학 관계를 지속적으로 목격할 수 있습니다. 우리는 이러한 현상을 몇 번이고 보아왔으며, 일반적으로 이러한 기업들은 기술 성숙 주기의 이상한 중간 지점에 위치합니다.
자율 주행 차량의 경우 2007년 DARPA의 그랜드 챌린지에서 시작된 인재들이 510 시스템/웨이모, 테슬라, 크루즈에 모이고, 결국 기존 업체들과 동일한 기술적 접근 방식을 기반으로 하는 다른 자율주행차 업체들이 대거 분산되는 주기를 거치는 과정에서 이런 일이 발생했습니다. 이들 기업 중 대다수는 쉽게 벤처 캐피탈을 조달했으며, 초기의 혁신적인 '기존 기업'을 능가하겠다는 약속에 실패했거나 실패할 가능성이 높습니다.
투자자로서 저는 이것이 단계적 기능 변경이 아닌 점증주의에 기반한 방식이기 때문에 손해를 볼 수 있는 재앙적인 방법이라고 생각합니다.
창업자로서 저는 여러분이 테스트하고 있는 차별화된 가설이 무엇인지, 그리고 전 직장과 관련하여 "더 이상 아무도 가지 않아서 너무 혼잡하다."라는 기술계 버전에서 벗어나 그 가치를 포착하는 데 어떻게 고유하게 적합한지 매우 확신합니다.
성과가 변곡점을 맞이하는 순간, 사람들은 현직자의 규모에 따른 많은 이점을 과소평가하고 수익과 분배 감소의 계곡에서 가혹한 교훈을 얻게 됩니다.
곧 해결될 것이라는 오류와 반대적 접근의 가치
사람들이 현재 해결되지 않은 매우 어려운 문제를 '곧 해결될 것이 분명한' 문제로 여길 때마다 컴파운드에서는 기분이 좋아지는 경향이 있습니다.
기술 업계는 최종 상태까지의 진행 상황을 추정하는 데는 매우 능숙해졌지만, 여전히 시간 지평과 더 중요한 것은 이러한 최종 상태에 도달할 수 있는 '무작위' 경로를 예측하는 데는 여전히 수준 이하입니다.
스케일링 법칙은 이것의 한 버전일 수 있으며, "현재로서는 무엇이 바뀔지 불분명하지만, 아무것도 바뀌지 않을 것이라고 믿기 어렵다."라고 말했던 작년의 견해와 마찬가지로, 우리는 알려지지 않은 큰 변화가 숨어 있을 수 있고 AI 내에서 우리가 아직 인지하지 못하는 최종 승자 이점이 있을 수 있다고 믿는 경향이 있습니다.
이는 자율성을 곧 해결해야 할 문제로 여겼던 AV 업계가 엔드투엔드 접근 방식을 인정하지 않았던 것과 유사하다고 생각하여, Wayve에서 Alex Kendall을 만났을 때 그의 말에 귀를 기울이게 되었고 결국 우리가 시드 라운드의 공동 리더로 참여하게 되었습니다.
마지막으로 딥 테크 분야에서는 다른 기술 분야보다 훨씬 빠른 속도로 인재가 통합되는 것으로 보입니다. AI가 계속 발전하고 사람들이 이 분야에 대해 생각하는 방식이 '오픈 필드'와 '이미 승리한' 진영으로 계속 양분되는 것을 보면서 자신의 진영에서 신뢰할 만한 사례를 만들 수 있는 인재들이 실질적으로 유리해지기 시작할 것입니다.
이 모든 것을 다른 방식으로 지나치게 단순화할 수도 있습니다:
누군가가 다른 곳에서는 일하고 싶지 않고 OpenAI에서만 일하고 싶어 하는지 여부는 AI의 미래에 대한 누군가의 확신을 가늠할 수 있는 훌륭한 로르샤흐 테스트가 될 수 있습니다.
업데이트된 프레임워크
이 글의 서두로 돌아가서, AI의 해자를 메타 해자의 집합으로 볼 수 있으며, 각 해자는 시간이 지남에 따라 다양한 수준의 산업 성숙도와 기업의 정착/분포에 따라 붕괴합니다.
단기적으로 구축된 핵심 해자는 모두 업계에서 가장 먼저 시장에 출시하거나(현재 모든 업계가 AI 파트너십/실험을 모색하고 있기 때문에) 시끄러운 소음 속에서 눈에 띄기 위해 조기 배포 및 PMF를 확보하는 것을 목표로 합니다.
이러한 지표가 입증됨에 따라 기업은 자사의 우수성이 어디에 있는지, 그리고 이러한 우수성을 자본과 결합하여 컴퓨팅과 인재를 유지함으로써 제품, 연구 및 PMF 확장을 위한 추가 배포에 투입할 수 있는 방법을 파악해야 합니다.
시간이 지남에 따라 스타트업은 단기적인 개선("다른 모든 모델보다 이 한 가지(또는 평가)를 더 잘하는 이 새로운 모델을 보세요!"), 다양한 시장 진출 방식(기존의 확장 가능한 계약과 함께 서비스 중심 계약, 맞춤형 모델 등), 과도하게 엔지니어링된 데모(립), 전환 역학을 유발하는 매우 반대적이거나 독단적인 접근 방식(일부는 지속 가능), 파트너십을 고정시키는 엘리트 능력으로 리더 자리를 빼앗으려는 목표를 가지고 왔다가 사라질 것입니다.
장기적으로 이러한 공격은 오랜 기간 동안 선두를 유지해온 브랜드, 데이터로 인한 실질적인 성능 우위, 높은 전환 비용을 창출하고 다양한 고객 유형에 걸쳐 확장된 배포(직접 또는 이전 파트너십을 통해)를 가능하게 하는 제품 깊이로 인해 저지될 수 있습니다.
이 프레임워크는 이 게시물에서 논의한 모든 영역에 걸쳐 미묘한 차이가 있지만, 실제로는 AI 분야의 기업 구축이 좋든 나쁘든 오늘날 대다수 기술 분야의 빌더가 실행 중인 다양한 상에 대한 확장된 실행을 전제로 한 아이디어 미로의 마라톤이라는 점을 잘 보여줍니다.
이 메타-해자 X 타임 호라이즌 차트를 보는 프레임워크는 회사가 어떤 경쟁의 축을 기반으로 하고 있으며, AI 성숙이 진행됨에 따라 어떻게 가속화되는지 분석하는 것입니다.
제가 OpenAI에 대해 잠재적인 약세 프레임을 제시했지만(트랜스포머가 뒷받침하는 규모, 자금, 데이터만 있으면 되지만 그렇지 않은 경우까지), 다소 낙관적인 시각으로 본다면 모델 개발을 탐색하고 확장하는 데 가장 적합한 조직을 만들었으며 이를 통해 점점 더 유능한 제품 조직으로 계속 발전할 시간을 벌었다는 것입니다. 다른 회사들이 "움직이는 과녁을 다트 한 개로 맞추려고" 애쓰고 있을 때 Kevin Kwok의 표현을 빌리자면, 이 모든 것이 가능했던 것이죠.
간단히 말해, 스타트업은 자신이 만들고 있는 기계에 대한 이해가 필수적입니다.