제품 리스크를 완화하며 AI 기능 만들기
AI 기능을 구축하는 것은 본질적으로 위험이 큽니다. 전통적인 비 AI 기능보다 훨씬 더 위험합니다. 그 이유 중 하나는 AI 응답의 품질을 실제 AI 응답을 보기 전까지는 알 수 없다는 닭과 달걀 문제 때문입니다.
다시 말해, AI를 구축하여 어떤 AI가 가치가 있는지를 배우는 것입니다. 팀이 이 질문을 해결하려면 새로운 접근 방식이 필요합니다.
지난 몇 달 동안, 우리는 초기 AI 아이디어부터 AI 지원 기능을 출시하는 데까지 왔습니다. 이 새로운 도구는 팀이 AI 기반의 제품 내 지원 기능을 구축할 수 있도록 합니다.
여기 AI Assist의 예시가 있습니다:
AI Assist를 구축하면서 우리는 전통적인 기능과는 다른 AI 기능을 구축할 때 위험을 줄이는 중요한 제품 교훈 세 가지를 배웠습니다:
- 기술 연구를 우선시하여 가능한 것을 배우기
- 기회를 선택하기 위해 위험을 정량화하기
- 무엇을 구축할지 알기 위해 실제로 구축하기
다음은 AI Assist를 구축하면서 우리가 배운 내용입니다:
기술 연구를 우선시하여 가능한 것을 배우기
우리는 배워야 할 것이 많았습니다. 우리는 AI를 활용하여 사용자들이 더 나은 제품 온보딩 및 교육 기능을 구축하는 기능을 만들 수 있는 기회가 있을 것이라는 직감을 가졌지만, 어떻게 해야 할지 몰랐습니다.
AI가 제시하는 기회는 너무 커서 무시할 수 없었고, 가능성 있는 ROI는 비용 소모 연구의 위험을 정당화할 정도였습니다. 우리는 기술 연구에 시간을 할애하기로 했습니다.
저는 제품과 디자인 기회를 탐색하는 데 약 일주일을 보냈고, 엔지니어 한 명은 기술 연구에 전념하여 가능한 것을 이해하기 위해 2주를 보냈습니다.
우리의 연구 범위는 다음과 같았습니다:
- 오픈 소스 및 클로즈드 소스 모델, 도구 및 AI 공급업체 조사
- HTML 및 UI의 스크린샷과 같은 다양한 제품 내 맥락을 입력으로 받아 더 관련성 높은 결과를 반환할 수 있는 AI 아키텍처 조사
- 생성 AI의 풍경을 파악하기 위해 연구 논문과 새로 출시된 코드 및 데모 탐구
여기 Adept의 UI 이해를 위한 AI 사용 예시 연구가 있습니다:
이 연구 영역 중 많은 부분이 Dopt와 직접적으로 관련이 없었습니다. 하지만 괜찮았습니다. 우리는 중요한 기초 개념을 배웠습니다.
교훈: 디자이너와 개발자가 가능한 것을 배우기 위해 기술 연구를 할 시간을 만들어야 합니다. 핵심 가설이나 열린 질문을 가지고 스파이크 또는 시간 제한 노력을 고려하십시오. 연구는 비용 소모로 끝날 수 있으며, 그 위험을 감수해야 합니다. 그러나 연구는 현실에 기반한 AI 솔루션을 만드는 데 방향을 제시할 것입니다.
기회를 선택하기 위해 위험을 정량화하기
연구 결과를 바탕으로 우리는 가능한 AI 기회를 브레인스토밍하고 최고의 후보를 도출했습니다:
우리는 3~6개월의 시간 범위 내에서 성공 확률과 성공 시 고객 가치를 고려하여 어떤 기회를 구축할지 결정했습니다. 성공 확률은 우리의 연구에 의해 결정되었습니다.
이 확률 기반 접근 방식은 우리를 구체화시켰습니다. 제품 내 AI 어시스턴트를 구축하는 것은 성공 확률과 고객 가치의 최적의 조합이어야 했습니다. 60%의 확신으로, 우리는 여전히 합리적인 수준의 위험과 중요한 열린 질문들을 가지고 있었습니다:
- AI가 UI 스크린샷이나 HTML과 같은 제품 내 맥락을 합리적으로 이해할 수 있을까?
- 제품 내 맥락이 훨씬 더 높은 품질의, 더 관련성 높은 도움 응답을 제공할까?
- 합리적인 시간 내에 도움을 반환할 수 있을까?
이것은 중요한 결정이었습니다: 위험을 감안한 잠재적인 고객 가치는 더 많은 시간을 투자할 가치가 있었습니다. 이제 우리는 다음 단계의 구축을 위한 구체적인 열린 질문들을 가지고 있었습니다.
스타트업에서는 다른 기회를 해결하지 못하는 것이 아프지만, 제한된 자원으로 미친 듯이 우선순위를 정하는 것이 유일한 방법입니다. 더 큰 회사에서는 AI 기능을 구축하기 위한 진정한 포트폴리오 접근 방식이 잘 작동할 수 있다고 생각합니다.
교훈: 전통적인 가치 대 노력 입력을 통한 제품 작업 우선순위 결정과 달리, AI는 성공 확률에 훨씬 더 큰 중점을 둡니다. 이는 실제 초기 기술 발견과 ROI 평가를 중요한 go/no-go 결정을 요구합니다.
무엇을 구축할지 알기 위해 실제로 구축하기
전통적인 제품 베팅은 주로 제품 및 디자인 작업으로 위험을 줄입니다: 문제는 무엇이며 그 문제에 대한 좋은 디자인 솔루션은 무엇인가? 디자인이 고객의 문제를 해결할 것이라는 상당한 확신이 있습니다.
AI 기능에서도 여전히 중요하지만, 그것만으로는 충분하지 않습니다. AI 기능의 일부를 구축하여 위험을 완화해야 합니다: 이 솔루션이 가능할까? 응답이 합리적인 품질로 자주 나올까?
우리는 다음 수준의 확신을 얻기 위해 AI 어시스트 프로토타입을 만들었습니다. 프로토타입의 목표는 AI 모델이 실제로 도움이 되는 응답을 사용자에게 반환할 수 있다는 확신을 주는 것이었습니다.
우리의 AI 어시스트 프로토타입은 엔지니어링 시간으로 약 2주가 걸렸습니다. 이는 우리에게 상당히 비용이 많이 듭니다.
여기서 접근 방식은 다음과 같습니다: 우리는 수집의 용이성을 위해 우리의 제품에서 수집한 테스트 제품 맥락을 사용하기로 결정했습니다.
저는 Dopt의 AI 어시스트 테스트 사용 사례 약 20개를 작성했습니다. 예를 들어 '사용자가 환경 드롭다운을 선택', '체크리스트 블록을 선택', '플로우 페이지에 있는 경우' 등을 포함합니다.
거기서, 프로젝트를 이끄는 엔지니어 카르틱이 가벼운 코드를 작성하여 특정 요소 ID를 주어진 HTML 스니펫 및 UI 스크린샷과 같은 입력을 생성할 수 있는 현재의 ai-assistant-client로 발전시켰습니다.
그는 기성 AI 공급업체와 상호 작용하여 출력을 생성하고 우리의 문서와 작업할 맞춤형 모델을 만드는 스크립트를 만들었습니다.
이 단계들은 그가 입력을 받아 맞춤형 모델을 통해 응답을 얻는 종단 간 AI 파이프라인을 시뮬레이션할 수 있게 했습니다.
카르틱의 프로토타입은 원시 응답을 생성했지만, 예상보다 더 나았습니다. 제품 내 맥락이 유용한 입력이라는 것을 검증했습니다.
기술 프로토타입은 디자인 프로토타입과 결합되어 두 가지가 어떻게 작동하는지 이해했습니다.
우리는 프로토타입 결과를 또 다른 Go/No-go 결정으로 다루었습니다: 제품 내 맥락을 사용하여 놀라운 도움을 제공할 수 있는 우리의 능력에 대한 확신이 크게 증가했습니다. 계속 구축할 만큼 충분했습니다.
교훈: 전통적인 제품을 구축할 때, 품질 디자인과 기술 실현 가능성으로 기능이 작동할 것이라는 높은 확신이 있습니다.
AI 기능에서는 반복적으로 구축하고 확신을 평가하고 결정해야 합니다. "작동할 것"이라는 완전한 확신을 가질 수 없습니다. 대신, 기능을 구축하고 프로토타입하여 위험을 줄이고 성공 확률에 대한 확신을 높여야 합니다.
창립자나 PM으로서 이 접근 방식은 중요한 Go/No-go 결정을 통과하는 데 도움을 줍니다: 기능을 계속 구축할지 여부를 결정합니다.
구축에 전념하기
우리는 제품 맥락 기반의 AI 지원이 충분히 잘 작동할 것이라는 약 80%의 확신을 가지고 충분히 많은 프로토타입을 만들었습니다. 실행 중에 프롬프트 엔지니어링과 같은 것으로 마지막 20%를 마무리할 수 있습니다.
우리는 여전히 AI 어시스트를 구축하는 초기 단계에 있으며 배울 것이 많지만, 0에서 1까지 가는 과정에서 반복적으로 구축하여 확신을 높이는 방법을 배웠습니다. 이는 AI 기능을 구축할 때 위험을 완화하는 데 도움이 되었으면 좋겠습니다!