유용한 AI 제품을 만드는 방법

스타트업을 설립하는 것이 어려운 비디오 게임을 플레이하는 것과 같다면, 생성형 AI 분야에서 스타트업을 설립하는 것은 그 게임을 2배 빠른 속도로 플레이하는 것과 같습니다.

특히 어플리케이션 계층에서 제품을 구축할 때—OpenAI나 Anthropic 같은 회사가 제공하는 AI 모델을 사용하는 경우—기술이 예측할 수 없고 전례 없이 빠른 속도로 발전하고 있습니다. 주요 모델 릴리스가 최소 연 2회 이상 이루어지며, 한 가지 기능에 몇 주를 투자했다가도 다음 AI 모델 릴리스가 그 기능을 자동화해버릴 수 있습니다. 더구나 모두가 뛰어난 API와 최신 대규모 언어 모델(LLM)에 접근할 수 있기 때문에, 당신의 훌륭한 제품 아이디어는 누구든 쉽게 만들 수 있습니다.

LLM 덕분에 이전에는 불가능했던 코드 생성, 연구 보조와 같은 제품 기능이 가능해지면서 많은 기회가 열리고 있지만, AI의 발전 물결을 타야 합니다. 그렇지 않으면 그 물결에 휩쓸릴 위험이 있습니다.

이런 이유로 새로운 전략이 필요합니다.

2년 동안 회의 기록을 받아 적고 AI로 이를 강화하는 메모장 Granola를 개발하면서, 생성형 AI는 독특한 분야라는 확신을 가지게 되었습니다. 기존의 “스타트업 물리 법칙”(예: 가장 큰 고통점을 먼저 해결하거나 규모가 커질수록 사용자 지원 비용이 줄어드는 법칙 등)은 여기에는 완전히 들어맞지 않습니다. 만약 기존 스타트업 물리 법칙에 기반한 직관에 익숙하다면, AI에 맞는 새로운 직관을 개발해야 합니다.

지난 2년간의 경험을 통해 얻은 교훈을 바탕으로, AI에서 어플리케이션 계층을 개발하려는 모든 창업자가 반드시 알아야 할 4가지 원칙을 정리했습니다.

1. 곧 사라질 문제를 해결하지 마세요

LLM은 역사상 가장 빠른 기술 발전 중 하나를 경험하고 있습니다. 2년 전, ChatGPT는 이미지를 처리하거나 복잡한 수학 문제를 해결하거나 정교한 코드를 생성할 수 없었습니다. 오늘날의 LLM에서는 이런 작업이 쉬워졌죠. 그리고 앞으로 2년 후에는 또 다른 모습이 펼쳐질 것입니다.

어플리케이션 계층을 개발할 때, 다음 GPT 버전이 출시되면 해결될 문제에 시간을 낭비하기 쉽습니다. 이와 같은 문제에 시간을 쓰지 마세요. 간단해 보이지만 실행하기는 어렵습니다. 이 접근법은 본능적으로 어색하게 느껴지기 때문입니다.
미래를 예측하는 것이 이제 당신의 업무의 일부입니다(불편하시죠?). 어떤 문제가 지속될지를 예측하려면, 다음 GPT-X 버전에서 가능한 것을 예측해야 합니다. 이는 마치 수정구슬을 들여다보는 것처럼 느껴질 수 있습니다. 예측을 기반으로 제품 로드맵과 전략을 세워야 합니다.

예를 들어, Granola의 첫 번째 버전은 30분 이상의 회의를 처리하지 못했습니다. 당시 최고의 모델이었던 OpenAI의 DaVinci는 4,000 토큰의 컨텍스트 윈도우를 제공했기 때문에 회의 시간이 제한되었죠.

일반적으로 회의 시간을 늘리는 것은 최우선 과제가 되었을 것입니다. 그러나 우리는 LLM이 훨씬 더 나아질 것이라는 가설을 세웠습니다. 모델이 더 똑똑해지고, 빠르고, 저렴해지며, 더 긴 컨텍스트 윈도우를 가지게 될 것이라고 믿었죠. 따라서 컨텍스트 윈도우 제한을 해결하는 데 시간을 쓰지 않았습니다. 대신, 노트 품질을 향상시키는 데 집중했습니다.

한동안은 회의 시간 제한에 대해 불만을 제기하는 사용자를 무시해야 했습니다. 그러나 우리의 가설은 옳았습니다. 몇 달 후, 컨텍스트 윈도우가 충분히 커져 더 긴 회의를 처리할 수 있게 되었죠. 만약 우리가 제한을 해결하려고 노력했다면 그 시간은 낭비되었을 것입니다. 반면, 노트 품질 향상에 투자한 덕분에 오늘날 사용자가 Granola를 사랑하는 주요 이유 중 하나가 되었습니다.

2. 당신의 한계 비용이 곧 나의 기회입니다

역사적으로 소프트웨어의 주요 특징은 추가 사용자를 지원하는 데 필요한 한계 비용이 거의 제로라는 것이었습니다. 10,000명의 사용자를 지원하는 제품이 있다면, 100만 명의 사용자를 지원하는 데 추가 비용이 거의 들지 않았죠.

하지만 AI에서는 이 법칙이 적용되지 않습니다. 추가 사용자를 지원하는 데 필요한 한계 비용이 일정하며, 최첨단 AI 모델을 실행하는 비용은 정말 비쌉니다. 예를 들어, 30분짜리 회의의 오디오를 OpenAI의 최상위 GPT-4 오디오 모델에 전송하는 데 약 4달러가 듭니다. 이 비용을 수천 명의 사용자, 매일 사용량에 적용한다고 상상해 보세요. 또한 최첨단 모델을 대규모로 지원할 수 있는 컴퓨팅 리소스가 충분하지 않기 때문에, 기업이 무한히 사용자를 온보딩할 수는 없습니다.

이는 장애물이 아니라 스타트업에 있어 큰 기회입니다. 수백만 명의 사용자를 보유한 대기업은 실제로 당신과 경쟁할 수 없습니다. 세계적으로도 이들을 위한 최첨단 컴퓨팅 리소스가 충분하지 않기 때문입니다.

스타트업으로서, 당신은 각 사용자에게 Ferrari 수준의 제품 경험을 제공할 수 있습니다. 가장 비싸고 최첨단 모델을 사용하세요. 비용 최적화를 걱정하지 마세요. 만약 추가 API 호출(LLM 공급자에 대한 서버 요청) 5번이 제품 경험을 더 좋게 만든다면, 그렇게 하세요. 사용자당 비용이 비쌀 수 있지만, 초기에는 사용자가 많지 않을 가능성이 높습니다.

당신의 Ferrari 경험이 사용자 유입으로 인해 확장된다면 어떻게 될까요? 결국 대기업과 같은 위치에 놓이게 되는 것 아닌가요?

아름다운 점은, 사용자가 기하급수적으로 증가하더라도 AI 추론 비용은 기하급수적으로 감소한다는 것입니다. 오늘날의 최첨단 모델은 1~2년 후에는 저렴한 대중상품이 됩니다. 오늘날의 Ferrari는 내일의 Honda입니다. Ferrari가 될 수 있을 때 Ferrari가 되세요.

3. 컨텍스트가 왕입니다

Granola가 회의 노트를 생성하기 위해 프롬프트를 작성하기 시작했을 때, 우리는 단계별 지침을 제공하는 방식이 실제로는 잘 작동하지 않는다는 것을 금방 깨달았습니다. 현실 세계는 복잡하며, LLM이 직면할 모든 상황을 예상하고 규칙을 작성하는 것은 거의 불가능합니다. 설령 모든 시나리오를 다룬다 해도, 결국 충돌하는 지침이 발생할 수밖에 없습니다.

여기서 우리는 중요한 통찰을 얻었습니다. AI 모델을 단순히 지침을 따르는 무언가로 대하기보다는 첫날 출근한 인턴처럼 다루어야 한다는 것입니다. 인턴은 똑똑하지만, 무엇을 어떻게 해야 할지에 대한 컨텍스트가 부족합니다. 인턴이 성공하려면, 그들이 당신처럼 생각할 수 있도록 적절한 컨텍스트를 제공하는 것이 중요합니다.

이것이 현재 Granola에서 프롬프트에 접근하는 방식입니다. 저희는 모델에 선별된 컨텍스트를 제공하여 사고를 유도합니다. Granola의 사용 사례는 회의에서 훌륭한 노트를 작성하는 것입니다. 여기서 맥락이란 회의에 누가 참석하고 왜 논의되고 있는지 이해하는 것입니다. 저희의 작업은 웹과 다른 출처에서 해당 정보를 찾은 다음 모델이 여러분처럼 생각하게 하여(이 회의에서 얻고자 하는 것은 무엇인가요? 장기적인 목표는 무엇이며 이 회의가 이를 위해 어떻게 도움이 되는가?) 그리고 관련 정보만 노트에 입력하는 것입니다. 아무리 좋은 모델이 있어도 어떤 맥락을 제공하느냐가 중요하기 때문에 어떤 맥락을 어떻게 구성할 것인지 선택하는 것이 관건입니다.

나는 "컨텍스트 윈도우 선택"이 우리의 시대를 정의하는 아이디어 중 하나가 될 것이라고 믿습니다. 이는 AI를 넘어 더 광범위한 영향을 미칠 것입니다. 산업혁명 시기에는 인간의 뇌를 기계로 비유하며 "증기를 배출한다"와 같은 표현을 사용했습니다. 컴퓨터가 등장했을 때는 "대역폭"이나 "저장 용량"이라는 용어로 뇌를 설명하기 시작했죠. 이제는 "컨텍스트 윈도우 선택"이라는 개념이 기술을 넘어 우리의 사고 방식 전반에 스며들게 될 것입니다.

4. 좁고 깊게 파세요

오늘날 AI 제품을 구축하면서 직면하게 되는 흥미로운 도전은 ChatGPT나 Claude 같은 범용 AI 도우미와 경쟁해야 한다는 점입니다. 이들은 대부분의 작업에서 꽤 괜찮은 성능을 발휘합니다. 그렇다면 어떻게 하면 사용자가 이러한 스위스 군용 칼 대신 당신의 제품을 선택하게 만들 수 있을까요?

유일한 답은 매우 좁은 영역을 선택하여 그 분야에서 탁월해지는 것입니다.

스타트업의 기본 규칙인 “사람들이 원하는 무언가를 구축하라”는 AI에서도 여전히 유효하지만, 그 기준은 더 높아졌습니다.

그런데 반전이 있습니다. 특정 사용 사례를 위한 탁월한 경험은 종종 AI와는 거의 관련이 없습니다. Granola에서는 노트 품질에 많은 시간을 투자하지만, 그만큼이나 원활한 회의 알림과 뛰어난 에코 제거(이어폰을 사용하지 않을 때도 도구가 잘 작동하도록)를 포함한 기능에 많은 시간을 투자합니다. AI를 둘러싼 포장지가 뛰어난 경험과 실망스러운 실제 사용 경험의 차이를 만들어냅니다.

또한 범위를 좁히면 제품의 AI 부분을 개선하기가 더 쉬워집니다. AI가 제대로 응답을 하면 마법과도 같습니다. 하지만 오답을 하면 이상하고 당황스러울 수 있는 방식으로 응답합니다. 사람이 아니라 알고리즘과 대화하고 있다는 사실이 분명해집니다. 불쾌한 골짜기에 빠지는 제품 경험은 사용자를 제품에서 영원히 멀어지게 할 수 있습니다. 범위를 좁히면 가장 일반적인 AI 실패 사례를 파악하고 이를 완화하거나 더 우아하게 실패를 시도하는 것이 훨씬 쉬워집니다.

기본은 변하지 않습니다

생성형 AI를 구축하는 것은 기존 기술이 걷는 속도로 움직이는 동안 러닝머신에서 달리는 것과 같습니다. 이러한 속도는 해결해야 하는 기술적 문제부터 규모에 도달하기 위한 일정에 이르기까지 모든 것에 영향을 미칩니다. 이러한 가속화는 전략을 바꿔야 하지만 좋은 제품을 만드는 기본 원칙을 바꾸지는 않습니다. 사람들이 원하는 것을 만들어야 합니다. 지름길은 없습니다. 여전히 세부 사항에 대해 땀을 흘려야 합니다. 그리고 가장 명확한 질문은 놀라울 정도로 간단합니다: 이 제품을 사용할 때 어떤 느낌이 드는가?