번역글

Gen AI의 경제학

#1 지금까지 AI 세대의 가치 창출은 어디에서 이루어졌나요?

"AI의 아이폰 순간"이 있은 지 18개월이 지났지만 발전 속도는 느려지지 않았습니다. 제가 생각해 온 가장 큰 질문 중 하나는 현재와 미래의 AI 세대에서는 어디에서 가치가 창출될 것인가 하는 것입니다.

오늘날 Gen AI 스택은 클라우드의 경우 A자형과 V자형으로 나뉘는 것 같습니다.

저는 스택을 Semi, Infra, App의 세 가지 계층으로 나누었습니다. 다음은 Gen AI의 매출 집계입니다:

Semi: 엔비디아는 지난 분기(2024년 1월 말)에 약 180억 달러의 데이터센터 매출을 올렸습니다. 95% 이상의 시장 점유율을 감안할 때, 이 부분의 연간 매출은 약 750억 달러로 추정됩니다.
Infra: 이 계층에는 하이퍼스케일러(AWS, GCP, Azure)와 저명한 추론 클라우드(Coreweave, Lambda 등)가 있습니다. 이 계층의 연간 매출은 대략 100억 달러로 추정됩니다.
App: 대규모 언어 모델(OpenAI, Anthropic, xAI 등), 이미지 모델(Midjourney 등) 및 기타 순수 생성형 AI 애플리케이션. 일부 Gen AI 사용 사례에서는 '소프트웨어' 수익으로 위장한 수익이 발생할 수 있으므로 현재로서는 이 계층의 연간 매출을 약 50억 달러로 넉넉하게 추정합니다.

이와는 대조적으로 클라우드 경제는 최종 고객과 가장 가까운 애플리케이션이 가장 많은 가치를 창출하는 훨씬 '직관적인' 가치 분포를 보입니다.

결론: Semi 레이어는 현재 Gen AI 스택의 약 83%(900억 달러 매출 중 750억 달러)를 점유하고 있습니다. 이는 오늘날 클라우드 스택에서 Semi 계층이 차지하는 약 10%보다 훨씬 높은 수치입니다!

#2 지금까지 Gen AI에서 발생한 수익은 어디에서 발생했을까요?

수익성에서도 역전된 스택이 나타나고 있으며, 현재 Semi가 가장 높은 점유율을 기록하고 있습니다:

집계 결과는 다음과 같습니다:

Apps: Anthropic의 총 마진은 약 50~55%로 추정됩니다. 전체 레이어에 대해서도 동일하게 가정합니다.
Infra: 인프라 플레이어의 수익은 약 65%(GPU 감가상각 제외)로 추정됩니다. 감가상각을 포함하면 이 수치는 25~30%로 떨어집니다.
Semi: NVIDIA는 Gen AI 데이터센터 제품에서 최대 85% 이상의 총 마진을 얻을 것으로 추정됩니다.
클라우드 스택은 하이퍼스케일 총 마진을 제외하고는 잘 연구되어 있습니다. Azure는 ~63%의 GM을 얻을 것으로 추정되며 모든 인프라 계층에 대해 다음과 같이 가정합니다.

이를 종합하면 총 수익은 Semi 레이어에서 640억 달러(총 730억 달러 중)를 추출하는 데 상당히 집중되어 있습니다. 이를 아래에서 시각화하면 다음과 같습니다(수익 x 총 마진 %):

막대형 차트로 시각화하면 엄청난 상대적 비율을 직관적으로 파악할 수 있습니다. 100%는 시스템의 총 수익을 나타냅니다.

결론: Semi 레이어는 Gen AI 생태계에서 전체 총 수익의 약 88%를 차지했습니다(클라우드 스택의 Semi 레이어는 5%).

#3 이제 어디로 가야 할까요?

우리는 Semi가 대부분의 가치를 창출하는 플랫폼 전환의 초기 단계에 있습니다. 저는 현재의 AI 세대 수익 구조(역피라미드)가 영원히 유지될 것으로 생각하지 않습니다. 조만간 App 계층이 가치 사슬에서 차지하는 비중이 비슷하게 높아질 것으로 예상합니다.

다음은 모바일 물결 속에서 어떻게 가치가 창출되었는지에 대한 사례 연구입니다. 지난 10년 동안 모바일의 가치는 먼저 Semi를 거쳐 Infra 계층에서, 그리고 마지막으로 App 계층에서 발생했습니다:

클라우드에서도 마찬가지로 데이터센터가 먼저 구축된 후 클라우드 서비스 제공업체가 등장했습니다. AWS는 2004년에 시작하여 2010~2012년에 첫 고객을 확보했습니다(아마존은 2010년에 AWS로 전환했고, 2012년에는 넷플릭스가 합류했습니다).

비슷한 방식으로, Gen AI도 그 뒤를 따를 것으로 예상합니다. 우리는 현재 1이닝(세미)에 있으며, 10년이 끝날 무렵에는 3이닝(애플리케이션)에 도달할 것으로 예상합니다. 결론부터 말씀드리자면, 현재 위치를 고려할 때 App 스택에서 가장 큰 기회가 열릴 것으로 보입니다!

이 전환 과정에서 제가 생각하는 몇 가지 중요한 질문이 있습니다:

A) NVIDIA는 계속해서 85% 이상의 총 마진을 얻을 수 있을까요?

저는 그렇지 않다고 생각합니다. NVIDIA의 마진은 정점을 찍고 하락세를 보이고 있는 것으로 보입니다. SemiAnalysis에서 인용한 내용입니다: "NVIDIA의 마진이 정점에 도달했다고 생각합니다. B100 및 향후 제품군의 마진은 약간 낮아질 것으로 예상되지만, 향후 몇 분기 동안 H200 및 H20으로 인해 H100 마진도 하락할 것으로 예상됩니다."

제가 NVIDIA 패권의 주요 지표로 추적하는 핵심 질문은 다음과 같습니다:

GPU 공급 리드 타임은? 현재 ~6주
GPU 대여 가격의 추세는? (가격표는 여기)

B) 클라우드 앱은 75~80%의 GM을 얻지만 AI 앱은 0~50%의 마진을 얻는데, 이는 어떻게 발전할까요?

AI 앱은 시간이 지남에 따라 수익성이 개선될 것이라고 생각합니다. 향후 수익성을 개선하는 데 도움이 될 몇 가지 수단이 있습니다.

더 나은 가격/가치 조정: 경우에 따라서는 수익성이 전혀 없는 것으로 널리 알려져 있습니다. 특히 COGS가 사용량에 연동되어 있는 파워 유저의 경우 더욱 그렇습니다.
맞춤형 실리콘 칩 → 낮은 TCO: 모든 하이퍼스케일러와 Meta는 자체 버전의 반도체(Google, Microsoft, Amazon, Meta)를 개발하고 있습니다. 조만간 이렇게 하면 마진 스택을 제거할 뿐만 아니라 워크로드에 특화할 수 있기 때문에 총소유비용(TCO)이 절감될 것입니다.
모델 아키텍처 개선: state-space model(코딩과 같은 긴 컨텍스트 윈도우 사용 사례에 적합), JEPA(비디오 모델에 적합) 등과 같은 다양한 비트랜스포머 접근 방식이 등장하고 있습니다.
모델 비용 절감: 배치, 증류, 정량화, 전문가 혼합 등 다양한 기법에 힘입어 모델 비용이 빠른 속도로 저렴해지고 있습니다. Bill Gurley는 이렇게 지적합니다.

C) 소비자용 Gen AI는 어떨까요?

하드웨어 레이어부터 소비자용에서도 비슷한 변화가 일어날 것으로 예상합니다. 데이터센터와 마찬가지로 소비자 디바이스도 AI PC/스마트폰/새로운 폼팩터(예: Meta glasses, Humane Pin, Rabbit R1)로 업그레이드될 것입니다. 소비자 App은 정보(검색), 엔터테인먼트(게임, 미디어), 거래(여행, 이커머스 등)의 세 가지 부문으로 나뉩니다. 제 동료인 Vivek의 계산에 따르면 검색 쿼리는 점점 더 정보성 검색에서 LLM 기반 검색으로 이동하고 있습니다: