🦈 대화형 인터페이스에 대한 반론

01 서론

대화형 인터페이스는 약간 밈(meme) 같은 존재입니다. 몇 년마다 반짝이는 새로운 AI 기술 발전이 등장하면 기술 업계 사람들은 "바로 이거야! 다음 컴퓨팅 패러다임이 여기 있네! 앞으로는 자연어만 사용하게 될 거야!"라고 외칩니다. 하지만 실제로는 아무것도 변하지 않고 우리는 늘 하던 방식대로 컴퓨터를 계속 사용하다가, 몇 년 후 다시 이 논쟁이 수면 위로 떠오릅니다.

우리는 이미 이런 주기를 몇 번 겪었습니다: 가상 비서(Siri), 스마트 스피커(Alexa, Google Home), 챗봇('대화형 커머스'), 플랫폼으로서의 AirPods, 그리고 가장 최근에는 대규모 언어 모델(LLM)까지 말이죠.

이런 대화형 인터페이스에 대한 집착이 어디서 오는지 저는 완전히 확신하지 못합니다. 어쩌면 StarTrek에서 봤지만 현실이 되지 않은 미래에 대한 막연한 향수인 아네모이아(anemoia)의 한 종류일지도 모릅니다. 아니면 단순히 사람들이 '자연어'라는 용어를 보고 "음, 자연스럽다면 논리적인 최종 상태임에 틀림없어"라고 생각하기 때문일 수도 있습니다.

저는 그것이 아니라고 말씀드리려고 합니다.

02 데이터 전송 메커니즘

사람들이 '자연어'라고 말할 때, 그들이 의미하는 것은 문자 또는 구두 커뮤니케이션입니다. 자연어는 인간 사이에서 아이디어와 지식을 교환하는 방법입니다. 다른 말로 하면, 데이터 전송 메커니즘입니다.

데이터 전송 메커니즘에는 두 가지 중요한 요소가 있습니다: 속도와 손실률(lossiness).

속도는 데이터가 발신자로부터 수신자에게 얼마나 빨리 전송되는지를 결정하고, 손실률은 데이터가 얼마나 정확하게 전송되는지를 의미합니다. 이상적인 상태에서는 최대 속도(즉시)와 완벽한 충실도(무손실)로 데이터 전송이 이루어지길 원하지만, 이 두 속성은 종종 트레이드오프 관계에 있습니다.

자연어가 속도 측면에서 얼마나 잘 작동하는지 살펴봅시다:

이 데이터 포인트는 매우, 매우 단순화된 평균값이라는 점을 먼저 언급해야 합니다. 이 표에서 중요한 것은 개별 숫자의 정확성이 아니라 전체적인 패턴입니다: 우리는 데이터를 보내는 것(쓰기, 말하기)보다 받는 것(읽기, 듣기)이 훨씬 빠릅니다. 이것이 우리가 팟캐스트를 2배속으로 들을 수는 있지만, 2배속으로 녹음할 수는 없는 이유입니다.

쓰기와 말하기 속도를 고려해보면, 우리는 분당 1,000-3,000 단어의 속도로 생각을 형성합니다. 자연어는 자연스러울지 모르지만, 병목 현상입니다.

하지만 다른 사람들과의 일상적인 상호작용을 생각해보면, 대부분의 커뮤니케이션은 정말 빠르고 효율적으로 느껴집니다. 이는 자연어가 우리가 사용할 수 있는 많은 데이터 전송 메커니즘 중 하나일 뿐이기 때문입니다.

예를 들어, "방금 하신 말씀이 좋은 생각이라고 생각합니다"라고 말하는 대신, 그냥 엄지손가락을 치켜세울 수 있습니다. 또는 고개를 끄덕일 수도 있습니다. 아니면 그냥 미소 지을 수도 있습니다.

제스처와 표정은 효과적인 데이터 압축 기술입니다. 정보를 더 간결하지만 손실이 있는 형태로 인코딩하여 더 빠르고 편리하게 전송합니다.

자연어는 높은 충실도가 필요한 데이터 전송(또는 비동기 커뮤니케이션을 위한 데이터 저장 메커니즘)에 훌륭하지만, 가능할 때마다 우리는 더 빠르고 수월한 다른 커뮤니케이션 방식으로 전환합니다. 속도와 편리함이 항상 이깁니다.

제가 가장 좋아하는 진정으로 수월한 커뮤니케이션의 예는 제 조부모님에 대한 기억입니다. 아침 식탁에서 할머니는 버터를 달라고 요청할 필요가 없었습니다. 할아버지는 항상 그녀가 곧 요청할 것이라는 것을 감지하셨기 때문에 자동으로 건네주시는 것 같았습니다. 마치 50년 이상 결혼 생활을 하신 후 서로 텔레파시로 소통하는 것 같았습니다.

제가 컴퓨터와 맺고 싶은 관계가 바로 그런 것입니다!

03 인간-컴퓨터 상호작용 (Human Computer Interaction)

인간 간의 커뮤니케이션과 유사하게, 인간과 컴퓨터 간의 정보 교환을 위한 다양한 데이터 전송 메커니즘이 있습니다. 컴퓨팅 초기에는 사용자들이 명령줄(command line)을 통해 컴퓨터와 상호작용했습니다. 이러한 텍스트 기반 명령어는 사실상 자연어 인터페이스였지만, 정확한 구문과 시스템에 대한 깊은 이해를 요구했습니다.

그래픽 사용자 인터페이스(GUI)의 도입은 주로 발견의 문제를 해결했습니다: 정확한 텍스트 명령어를 외워야 하는 대신, 이제 메뉴나 버튼과 같은 시각적 요소를 통해 탐색하고 작업을 수행할 수 있게 되었습니다. 이는 단순히 발견을 쉽게 만들었을 뿐만 아니라 더 편리하게 만들었습니다: 긴 텍스트 명령어를 입력하는 것보다 버튼을 클릭하는 것이 더 빠릅니다.

오늘날 우리는 그래픽 인터페이스와 키보드 기반 명령어를 결합한 생산성 균형점(productivity equilibrium)에 살고 있습니다.

우리는 여전히 마우스를 사용하여 탐색하고 컴퓨터에 다음에 무엇을 할지 지시하지만, 반복적인 작업은 일반적으로 빠른 키보드 입력 형태로 전달됩니다: 텍스트를 굵게 하려면 ⌘ + b, 새 탭을 열려면 ⌘ + t, 한 곳에서 다른 곳으로 빠르게 복사/붙여넣기 하려면 ⌘ + c/v 등입니다.

하지만 이러한 단축키는 자연어가 아닙니다. 그것들은 또 다른 형태의 데이터 압축입니다. 엄지척이나 고개 끄덕임처럼, 우리가 더 빨리 소통하도록 돕습니다.

현대의 생산성 도구들은 이러한 데이터 압축 단축키를 다음 단계로 끌어올립니다. Linear, Raycast 또는 Superhuman과 같은 도구에서는 모든 명령이 단지 키 입력 한 번으로 가능합니다. 일단 근육 기억(muscle memory)이 형성되면 데이터 입력이 완전히 수월하게 느껴집니다. 마치 아침 식탁에서 요청하지 않아도 버터를 건네받는 것과 거의 같습니다.

터치 기반 인터페이스는 인간-컴퓨터 상호작용 진화의 세 번째 중추적인 이정표로 간주되지만, 항상 데스크톱 컴퓨팅을 대체하기보다는 보강하는 역할에 더 가까웠습니다. 스마트폰은 '키보드에서 떨어진(away from keyboard)' 워크플로우에는 훌륭하지만, 중요한 생산성 작업은 여전히 데스크톱에서 이루어집니다.

이는 텍스트가 모바일 네이티브 입력 메커니즘이 아니기 때문입니다. 물리적 키보드는 마음과 몸의 자연스러운 확장처럼 느껴질 수 있지만, 휴대폰에서 타이핑하는 것은 항상 약간 어색합니다 – 이는 데이터 전송 속도에서도 드러납니다: 모바일에서의 평균 타이핑 속도는 분당 36단어로, 데스크톱의 분당 약 60단어보다 현저히 느립니다.

우리는 자연어를 이모지(emoji)나 Snapchat 셀카와 같은 모바일 특정 데이터 압축 알고리즘으로 대체할 수 있었지만, 키보드 단축키에 해당하는 모바일 버전을 찾지 못했습니다. iPhone이 도입된 지 거의 20년이 지난 지금도 왜 진정한 모바일 퍼스트 생산성 앱이 없는지 추측해보세요.

"하지만 음성-텍스트 변환(speech-to-text)은 어떤가요?"라고 음성 메시징 사용 증가에 대한 보고서를 지적하며 말할 수도 있습니다. 말하기(150wpm)가 타이핑(60wpm)보다 실제로 더 빠른 데이터 전송 메커니즘인 것은 사실이지만, 그렇다고 해서 컴퓨터와 상호작용하는 더 나은 방법이 되는 것은 아닙니다.

우리는 계속해서 Alexa나 Siri와 같은 이전의 음성 인터페이스가 성공하지 못한 이유가 기반 AI가 충분히 똑똑하지 않았기 때문이라고 스스로에게 말하지만, 그것은 이야기의 절반에 불과합니다. 핵심 문제는 결코 출력 기능의 품질이 아니라 입력 기능의 불편함이었습니다: "Hey Google, 오늘 샌프란시스코 날씨 어때?"와 같은 자연어 프롬프트는 단순히 홈 화면에서 날씨 앱을 탭하는 것보다 10배나 더 오래 걸립니다.

LLM은 이 문제를 해결하지 못합니다. 출력 품질은 놀라운 속도로 향상되고 있지만, 입력 방식(input modality)은 우리가 이미 가진 것보다 한 걸음 후퇴한 것입니다. 버튼이나 키보드 단축키를 누르기만 하면 되는데, 왜 자연어를 사용해서 원하는 작업을 설명해야 합니까? 그냥 버터나 달라고요.

04 보강으로서의 대화형 UI (Conversational UI as Augmentation)

이 중 어느 것도 LLM이 훌륭하지 않다는 말은 아닙니다. 저는 LLM을 좋아합니다. 항상 사용합니다. 사실, 이 에세이도 LLM의 도움을 받아 작성했습니다.

펜과 종이(제가 선호하는 글쓰기 도구)로 초안을 작성하는 대신, 저는 한 시간 내내 밖을 걸으며 ChatGPT의 Advanced Voice Mode로 대화했습니다. 우리는 제 머릿속의 모든 모호한 아이디어들을 훑어보고, 명확히 하고 정리했으며, 몇 가지 추가 논점을 탐색했고, 결국 모든 것을 종합하여 첫 번째 개요를 만들었습니다.

이것은 단순히 "x에 대해 몇 문단 써줄래?" 같은 일방적인 프롬프트가 아니었습니다. 진정한 사고 파트너(thought partner)와 깊이 있는 대화와 아이디어 교환처럼 느껴졌습니다. 몇 주가 지난 지금도 얼마나 잘 작동했는지 놀랍습니다. 소프트웨어가 미래에 살고 있는 듯한 느낌을 주는, 드물고 마법 같은 순간 중 하나였습니다.

하지만 일반적인 인간-컴퓨터 명령어와는 대조적으로, 이 워크플로우는 속도로 정의되지 않습니다. 글쓰기처럼, 제 ChatGPT 대화는 사고 과정(thinking process)이지, 사고 이후(post-thought)에 일어나는 상호작용이 아닙니다.

또한 이 예에서 ChatGPT가 기존의 어떤 소프트웨어 워크플로우도 대체하지 않는다는 점에 주목해야 합니다. 이것은 완전히 새로운 사용 사례입니다.

이것이 저의 핵심 논지로 이어집니다: 대화형 인터페이스의 불편함과 열등한 데이터 전송 속도는 기존 컴퓨팅 패러다임의 대체재가 될 가능성을 낮게 만듭니다 – 하지만 만약 그것들이 기존 패러다임을 보완한다면 어떨까요?

제가 지금까지 본 가장 설득력 있는 대화형 UI는 한 해커톤에서였습니다. 한 팀이 Amazon Alexa를 StarCraft II의 게임 내 음성 비서로 만들었습니다. 음성은 마우스와 키보드를 대체하는 대신 추가적인 입력 메커니즘으로 작동했습니다. 이는 데이터 전송의 대역폭(bandwidth)을 증가시켰습니다.

동일한 패턴이 어떤 종류의 지식 노동(knowledge work)에도 적용될 수 있습니다. 다른 작업을 하는 동안 음성 명령을 사용할 수 있는 것입니다. 우리는 Figma, Notion, 또는 Excel을 챗 인터페이스로 대체하지 않을 것입니다. 그런 일은 일어나지 않을 것입니다. 또한 우리가 이러한 도구들과 LLM 사이를 끊임없이 전환해야 하는 현상 유지를 영원히 계속하지도 않을 것입니다.

대신, AI는 모든 도구에 걸쳐 있는 항상 켜져 있는 명령어 메타 레이어(always-on command meta-layer)로 기능해야 합니다. 사용자는 마우스와 키보드로 현재 하고 있는 작업을 중단할 필요 없이 간단한 음성 프롬프트로 어디서든 작업을 트리거할 수 있어야 합니다.

이 미래가 실제 현실이 되려면 AI가 OS 수준에서 작동해야 합니다. 단일 도구를 위한 인터페이스가 아니라 도구 간의 인터페이스여야 합니다. Kevin Kwok은 "생산성과 협업은 분리된 워크플로우여서는 안 된다"고 유명한 말을 남겼습니다. 그가 인간 간의 협업을 언급했지만, 생산성과 조정 사이의 경계가 점점 더 모호해지는 인간-AI 협업의 세계에서는 이 말이 더욱 사실입니다.

우리가 알아내야 할 두 번째는 음성 입력을 압축하여 더 빠르게 전송할 수 있는 방법입니다. '엄지척'이나 키보드 단축키에 해당하는 음성 표현은 무엇일까요? 간단한 소리나 휘파람으로 Claude를 더 빨리 프롬프트할 수 있을까요? ChatGPT가 제 표정에 따라 실시간으로 답변을 변경할 수 있도록 카메라에 접근 권한을 가져야 할까요?

보조 인터페이스로서도 속도와 편리함이 가장 중요합니다.

05 맺음말

이 에세이의 제목이 약간 오해의 소지가 있다는 것을 인정합니다 (클릭하게 만들었죠, 그렇죠?). 이것은 사실 대화형 인터페이스에 대한 반론이라기보다는 제로섬 사고(zero-sum thinking)에 대한 반론입니다.

우리는 AI를 (인터페이스, 워크플로우, 직업의) 대체재(substitute)로 생각하는 데 너무 많은 시간을 소비하고, AI를 보완재(complement)로 생각하는 데는 너무 적은 시간을 할애합니다. 진보는 거의 단순한 대체 경로를 따르지 않습니다. 그것은 이전에 왔던 것을 단순히 대체하는 것보다 이전에 상상할 수 없었던 새로운 것들을 열어줍니다.

여기에도 동일하게 적용됩니다. 미래는 기존 컴퓨팅 패러다임을 챗 인터페이스로 대체하는 것이 아니라, 잘 사용된 아침 식탁에서 조용히 버터를 건네받는 것처럼 인간-컴퓨터 상호작용이 수월하게 느껴지도록 기존 패러다임을 향상시키는 것에 관한 것입니다.

The case against conversational interfaces

Conversational interfaces are a bit of a meme. Every couple of years a shiny new AI development emerges and people in tech go “This is it! The next computing paradigm is here! We’ll only use natural language going forward!”. But then nothing actually changes and we continue using computers the way w

julian.digitalJulian Lehr