🦈AI 혁신가의 딜레마

저는 현재 사고가 발생했을 때 자동으로 프로덕션 이슈를 디버깅하고 분류하는 AI 기반 사고 조사 제품을 만들고 있습니다.

우리는 "Agentic SRE" 영역에 새로 진입한 많은 기업 중 하나입니다. 이곳에서 일하면서 AI 생태계의 경쟁 역학을 가까이서 지켜볼 수 있었고, 이는 점점 더 혁신가의 딜레마가 확대된 형태로 보입니다.

딜레마는 성공적인 기업이 고객의 의견을 경청하고 가장 높은 수익을 약속하는 프로젝트에 투자하기 때문에 실패할 수 있는 정확한 이유를 설명합니다. 이러한 합리적인 행동은 처음에는 낮은 수익성으로 작은 시장을 대상으로 하지만 결국 성장하여 기존 기업의 핵심 사업을 위협하는 더 작은 회사에 취약하게 만듭니다.

오늘날의 AI 환경에서는 이러한 역학 관계가 더욱 강화됩니다. AI 기반 사용 사례를 포착하기 위해 빠르게 조정할 수 있는 제품을 가진 스타트업은 기존 기업보다 상당한 이점을 누리고 있으며, 이는 AI를 최근 역사에서 가장 파괴적인 기술 변화 중 하나로 만들 것입니다.

이 모든 것은 대부분의 AI '영향력 있는 사람'에게서 볼 수 있는 표준적인 허세이므로, 저는 이 기술로 매일매일 일하면서 보고 있는 내용으로 바로 들어가겠습니다.

GA까지 기하급수적으로 증가하는 비용

대규모 기존 기업은 AI 제품에서 중요한 문제에 직면합니다. 즉, 첫날부터 엄청난 규모를 해결해야 하지만, 우리와 같은 스타트업은 좁게 집중하고 더 빨리 출시할 수 있습니다. 이러한 시장 출시 요구 사항의 차이로 인해 소규모 기업에 놀라운 이점이 생깁니다.

정교한 AI 제품을 구축하는 데 필요한 투자는 고객 기반의 규모와 다양성에 따라 확장되므로 경제성이 떨어집니다. 단순한 선형적 확장이 아니라 곱셈적 확장이며, 그 비용은 AI 청구서에 나타나는 것만이 아닙니다.

AI 시스템을 더 큰 문제 공간으로 확장하면 두 가지 일이 발생합니다.

1. 훨씬 더 많은 평가 데이터 세트와 테스트가 필요합니다.
2. 팀이 문제를 해결하기 전에 문제의 범위가 폭발적으로 증가할 수 있습니다.

사고 조사 에이전트를 구축할 때 우리는 스스로 문제를 해결하는 데 집중하기 시작하여 사고를 유발한 코드 변경 사항을 찾는 에이전트부터 시작했습니다. 해당 시스템을 개선하는 것은 훈련 데이터를 구축하고, 반복적인 평가를 실행하고, 적당한 데이터 세트에 대해 지속적으로 테스트하는 과정이었습니다. 우리의 규모는 급여 지출이 AI 비용보다 훨씬 크다는 것을 의미하며, 결과적으로 얻어진 에이전트는 상당 부분의 사용자 기반에 일반화됩니다.

이제 PagerDuty 또는 GitHub라고 상상해 보세요. 이 두 회사 모두에서 Agentic SRE가 제품에 잘 맞을 것입니다. 이 에이전트를 구축할 가치가 있게 만들려면 매우 많은 고객에게 작동해야 하며, 다양한 기술 스택과 다양한 코딩 관행에 압도될 것입니다. 이러한 다양한 사용 사례에서 일관된 성능을 달성하려면 팀이 효과적으로 반복하는 데 필요한 빈도로 실행하기에 엄청나게 비싼 평가 스위트가 필요합니다. 이로 인해 대기업은 종종 이러한 비용을 줄일 것을 약속하는 기술 개선을 기다리는 동안 투자를 지연하게 됩니다.

이것은 우리와 같은 회사가 대기업 경쟁업체가 경제성을 해결하는 방법을 여전히 파악하는 동안 AI 시스템을 구축, 배포 및 반복할 수 있는 기회를 만듭니다. 그들이 규모 문제를 해결할 때쯤이면 우리는 여러 세대의 개선과 실제 피드백이 시스템에 내장되어 있을 것입니다.

이러한 선두는 훨씬 더 중요합니다. 왜냐하면...

초기 투자 비용은 동일

최근에 "AI MVP를 넘어서(Beyond the AI MVP)"라는 블로그 게시물을 작성했는데, 여기서는 실제로 쓸모없는 것처럼 보이는 그럴듯한 AI 프로토타입을 얼마나 쉽게 구축할 수 있는지 논의합니다. 사람들은 제품을 실제로 사용하기 시작할 때만 이것을 깨닫게 됩니다.

AI 시스템을 효과적으로 구축하려면 다음과 같은 사항이 필요하기 때문에 그 시점에서 실제 작업이 시작됩니다.

• 실제 사람들을 위해 실제 용도로 AI를 배포한 경험이 있는 팀
• 특정 회사 사용 사례에 의해 주도되는 툴링에 대한 투자
• 팀이 새로운 도구를 배우는 데 필요한 시간

대규모 사용 사례를 위한 Agentic AI 시스템을 구축하든, 더 적당한 고객 프로필을 위한 시스템을 구축하든, 팀이 시스템을 효과적으로 구현하기 시작하기 전에 필요한 투자 비용은 유사합니다. 이러한 투자 비용에는 평가 스위트, 백테스트, 스코어카드와 같이 AI를 효과적으로 사용하기 위한 도구 구축이 포함됩니다. 또한 작업 방식과 팀의 기술 향상 방식을 변경하는 것도 포함됩니다.

이러한 모든 학습과 투자는 느리며, 결정적으로 문제에 더 많은 리소스를 투입한다고 해서 훨씬 빨라지지는 않습니다. 회사 전체를 투입할 수 있지만, 엔지니어의 개인 학습 곡선을 가속화할 가능성은 낮으며, 명확한 방향 없이 경쟁적인 내부 도구를 구축하는 모든 사람의 혼란은 도움이 되지 않을 가능성이 높습니다. 우리는 이 투자를 두세 명 이상으로 병렬화하기 어렵다는 것을 알았습니다.

더 간단한 고객 환경에 AI 시스템을 배포할 수 있는 스타트업은 전문 지식, 내부 툴링을 중심으로 의미 있는 선두를 구축하고 AI MVP 함정을 피할 수 있습니다.

더 큰 회사가 투자 비용을 늦게 지불하더라도 결국 따라잡을 수 있을까요? 그 시점에서 그들의 리소스가 그들이 추월할 수 있게 해줄까요? 글쎄요…

소규모 팀의 이점

대기업의 한 가지 이점은 사람들이며, 이들을 문제에 투입하여 상황을 더 빨리 진행할 수 있습니다 (아마도).

하지만 주변을 둘러보면 Cursor와 같은 AI 혁신 기업은 거대하지 않습니다. 그들은 1억 달러 ARR에 20명 미만의 소규모 기업입니다! 표준적인 설명은 "새로운 시장에서의 선점자 이점"이지만, 저는 그것이 그보다 더 근본적이라고 생각합니다. 우리는 단순히 대규모 팀으로 설득력 있는 AI 도구를 구축하는 방법을 아직 터득하지 못했습니다.

"기능 공장"은 Agentic 시스템을 세련된 경험으로 발전시킬 수 없을 것입니다. 적어도 지금은 아닙니다. 초기에는 작은 핵심 팀이 시스템 전체를 머릿속에 담고 있어야 합니다. 그래야 오류가 기하급수적으로 증가하는 시스템에서 작은 프롬프트 조정이 일으킬 수 있는 예측 불가능한 영향을 포착할 수 있습니다. 그들은 평가와 같은 도구를 활용하여 혼란을 제어하지만, "장인 정신"은 지난 10년 이상 제품 엔지니어링에서 그랬던 것보다 고품질 AI 경험에 더 중요해졌습니다.

기존 기업에게 이것은 문제입니다. 그들은 초기 발견 및 개발을 위해 훨씬 더 작고 스컹크 워크와 같은 팀이 필요합니다. 그러나 기존 기업은 일반적으로 이러한 실행 모델을 생활과 호흡으로 삼는 스타트업보다 이것에 서툴습니다.

그들이 이러한 팀을 만든다 하더라도…

Dogfooding 및 반복 속도

AI 개발에서 가장 강력한 피드백 루프는 Dogfooding, 즉 실제 시나리오에서 제품을 직접 사용하는 것입니다. 예를 들어, 우리는 사람들이 즐겁게 사용할 수 있을 만큼 채팅 상호 작용 속도를 높이기 위해 추측성 에이전트 도구 호출을 구축하도록 추진되었고, 제품을 직접 적극적으로 사용함으로써 AI가 유럽 이름을 오해하는 것 (Leo Sjöberg 감사합니다!)부터 이상한 프롬프트 오도에 이르기까지 모든 것을 포착했습니다.

그러나 우리는 아직 이러한 시스템을 가장 큰 고객에게 작동하도록 확장하지 않았으므로, 기존 기업은 규모와 복잡성 때문에 이와 같은 Dogfooding에서 차단됩니다. 반복이 시간당 구축 속도를 이해하는 유일하게 신뢰할 수 있는 방법이라면, Dogfooding을 할 수 없다는 것은 헤쳐나가기에 엄청난 고통입니다.

대기업의 관료주의는 이 문제를 더욱 악화시킵니다. 모든 반복에 여러 승인, 보안 검토 및 규정 준수 점검이 필요한 경우 필수적인 빠른 피드백 루프가 깨집니다. 스타트업에서 몇 시간 걸리는 변경 사항이 기업에서는 몇 주 또는 몇 달이 걸릴 수 있습니다.

이 "반복 이점"은 더 빨리 움직이는 것만이 아닙니다. 더 빨리 배우는 것입니다. AI 제품 개발에서 솔루션의 품질은 얼마나 많은 실제 시나리오를 접하고 해결했는지에 크게 좌우됩니다. 실제 피드백을 통합하는 모든 반복은 격리된 상태에서 이루어진 이론적 개선에 비해 시스템을 기하급수적으로 향상시킵니다.

기존 기업이 대규모로 테스트할 인프라를 구축할 때쯤이면 스타트업은 실제 사용자와 함께 수십 번의 반복을 거쳐 무엇이 효과적인지에 대한 본능을 개발하여 단축하기가 거의 불가능할 것입니다.

그렇다면 이러한 대기업이 모든 관료주의를 없애는 '전시' 정책을 시행하면 어떻게 될까요? 그렇다 하더라도…

기존의 해자는 기존 기업을 보호하지 못함

이것들은 소규모 기업에게 새로운 AI 특유의 역풍입니다. 그러나 기술 분야에서 오랫동안 일해 왔다면 기존 기업이 보호되는 이유에 대한 표준적인 이야기를 들어봤을 것입니다. 즉, 그들은 데이터, 통합 및 최고의 기술에 대한 접근 권한을 가지고 있습니다.

AI는 직관에 반하는 방식으로 이 플레이북을 다시 쓰고 있습니다.

데이터 해자의 이동

우리의 상황에서 PagerDuty는 해자를 구축할 올바른 데이터를 가지고 있지 않은 기존 기업의 좋은 예입니다. 당사의 제품은 채널 및 첨부 파일, 사고 후속 조치, 티켓, 사후 검토에서 게시된 모든 메시지를 보는 등 그들이 가진 것보다 훨씬 더 많은 사고 프로세스를 항상 봐왔습니다.

AI는 이전에는 도달할 수 없었던 문제를 해결할 수 있도록 완전히 새로운 제품 기회를 창출합니다. 기존 기업은 불가능했기 때문에 이러한 문제를 결코 고려하지 않았을 가능성이 높으며, 따라서 데이터를 수집하기 시작하지 않았을 가능성이 높습니다.

중요한 유일한 "해자"는 AI 시스템에서 얼마나 빨리 반복할 수 있는지이며, 이는 현재 고객과의 피드백 루프가 필요합니다. 다시 말하지만, 이는 딜레마에 영향을 미칩니다. 즉, 기존 기업은 기술이 기업을 대상으로 할 수 있을 때까지 시작을 지연하고 있지만, 신생 기업은 이미 실무 경험을 쌓고 선두를 구축하고 있습니다.

통합 이점은 후발주자에게 유리해집니다

기존 업체는 일반적으로 통합 이점을 가지고 있습니다. 즉, 모든 사람이 이미 그들에게 연결됩니다. 놀랍게도 AI에서는 이러한 역학 관계가 역전됩니다.

현대적인 스타트업은 기존 도구 생태계에 연결하려는 강력한 인센티브를 가지고 있지만, 기존 기업은 "우리에게 연결하세요"라고 말하는 호사를 누립니다. 이로 인해 젊은 스타트업은 통합 수가 적지만, 그들이 가진 것은 통제하에 있습니다.

AI가 시스템이 통신하는 방식의 본질을 변화시키면서 기존 통합의 폭을 넓히는 것은 효과적으로 개선하고 변경할 수 있는 경우에만 이점이 됩니다. 스타트업은 괜찮을 것이지만, 통합자 생태계가 변경할 때까지의 긴 기다림은 기존 기업을 붙잡는 닻이 됩니다.

최첨단 기술의 공공재

AI R&D의 날카로운 부분은 AI 제품을 구축하는 회사가 아닌 (또는 드물게) OpenAI, Anthropic, Google과 같은 초대규모 AI 회사에서 일어나고 있습니다.

최첨단 기술이 대기업뿐만 아니라 소비자 구매자에게도 제공되는 것은 매우 이례적이며, 자본 이점도 파괴하는 종량제 방식으로 액세스할 수 있다는 것도 매우 이례적입니다. 이번 주 ProductHunt에서 출시되는 AI 스타트업은 Google 자체와 동일한 모델을 사용할 것입니다. 이례적으로 공정한 경쟁의 장입니다.

스타트업이 승리할 것입니다

이것은 주요 파괴적 변화가 될 것이며 매우 빠르게 일어나고 있습니다. 생성형 AI는 가능한 것과 그것을 달성하는 방법 중 충분히 많은 부분을 변화시켜 규칙이 변경되었으며, 거의 모든 기존 기업의 전통적인 이점이 무효화되거나 역전되었습니다.

요약하자면 다음과 같습니다.

• 크고 다양한 고객 기반을 위해 구축하는 것은 좁은 버티컬에 집중하는 것보다 기하급수적으로 비용이 많이 들기 때문에 스타트업이 혁신할 수 있는 공간을 만들고 기존 기업이 투자를 정당화하기 어렵게 만듭니다.
• 이 선두는 중요합니다. 왜냐하면 AI에 대한 초기 투자는 회사 규모에 관계없이 비슷한 시간 투자가 필요하기 때문에 스타트업이 전문 지식과 툴링을 구축할 수 있는 기회를 창출하기 때문입니다.
• 소규모의 응집력 있는 팀은 AI 제품 개발에 이점이 있습니다. 왜냐하면 우리는 아직 대규모 팀으로 AI 개발을 효과적으로 확장하는 방법에 대한 플레이북이 없기 때문에 기존 기업의 가장 큰 이점 (리소스)에 대응합니다.
• Dogfooding 및 빠른 반복은 특정 규모에서만 가능하며, 스타트업은 실제 사용에서 배우고 자체 복잡성으로 인해 차단된 기존 기업보다 더 빨리 개선할 수 있는 능력을 제공합니다.
• 데이터, 통합 및 최첨단 기술 배포의 기존 해자는 적용되지 않습니다.

이것이 기존 기업이 몰락할 운명이라는 것은 아닙니다. 가장 똑똑한 기업은 다른 경제성과 타임라인으로 자율적인 AI 사업부를 만들거나, 유망한 스타트업을 조기에 인수하거나, 새로운 방식으로 규모를 활용하는 플랫폼 플레이로 전환함으로써 대응할 것입니다.

그러나 지금 당장은 매우 넓은 기회의 창이 있습니다. 아마도 앞으로 2~3년 동안 우리는 기존 업체에 "당연히" 속해야 할 문제를 스타트업이 해결하는 것을 보게 될 것입니다. Cursor가 얼마나 빨리 지배적인 IDE가 되었는지, 또는 ElevenLabs가 예상대로 JetBrains 또는 Google이 지배해야 할 공간에서 얼마나 빨리 1억 달러 ARR을 달성했는지 살펴보세요.

그 기회의 창이 닫힌 후에는 어떻게 될까요? 제 추측으로는 성공적인 스타트업이 인수되거나 새로운 기존 기업으로 성장하는 통합 단계를 보게 될 것입니다. 그러나 그때쯤이면 시장은 근본적으로 재편성될 것이고, 우리는 지금과는 매우 다르게 AI에 대해 생각하게 될 것입니다.

지금은 기술 분야에서 일하기에 미친 시기입니다. 그러나 AI 스타트업을 구축하고 있다면 더 많은 자금을 가진 경쟁업체에 겁먹지 마세요. 충분히 빨리 움직여서 그것을 활용할 수 있다면 놀라운 수의 시스템적 이점을 누릴 수 있습니다.