AI와 지식 노동

대부분의 지식 근로자가 업무에 LLM과 AI를 정기적으로 사용하는 것은 아직 초기 단계이지만, 특히 고객 지원 및 소프트웨어 엔지니어링과 같이 더 빠르게 도입된 분야에서 그 영향에 대한 데이터 포인트와 일화들이 나타나기 시작하고 있습니다.

최근 스타트업의 이번 주 팟캐스트에 출연한 Uber의 CEO Dara Khosrowshi는 개발자의 생산성과 고객 서비스를 위한 Uber의 AI 활용에 대해 이야기했습니다:

저는 개발자의 생산성이 가장 중요하다고 생각합니다. 이제 우리 개발자들 중 일부가 GitHub Copilot의 파워 유저가 되었으며, 이는 매우 훌륭합니다. 이제 우리가 해야 할 일은 정말 생산성을 높이는 것이지만, 파워 유저의 20%에서 50%~80%까지 판매해야 합니다. 모두에게 홈런이 될 것입니다. 그리고 개발자가 창의력을 발휘할 수 있도록 잡다한 업무에서 벗어날 수 있을 것입니다. 그래서 저는 이것이 승리라고 생각합니다. 다음은 고객 서비스입니다... 인간은 모든 것을 겪어야 합니다. 이제 기본적으로 우리는 단계를 밟았습니다... 첫 번째 단계는 AI가 모든 것을 요약하고 고객 서비스 상담원에게 추천을 제공하는 것입니다.

이번 주에는 다양한 분야의 연구와 데이터를 바탕으로 AI가 지식 업무에 미치는 영향에 대한 초기 연구 결과에 대해 논의해 보려고 합니다.

소프트웨어 엔지니어링

폴 그레이엄은 최근 트위터를 통해 AI의 가장 큰 장점 중 하나는 AI에 익숙한 초기 경력 개발자가 고경력 개발자만큼 생산성을 높일 수 있다는 점이라고 말했습니다.

이는 일화일 뿐이지만, 프로그래머들이 Github Copilot 같은 도구를 통해 작업할 때 LLM을 가장 먼저 도입했습니다.

Github의 연구에 따르면 Copilot은 다음과 같은 영향을 미쳤습니다:

• 속도: Github의 연구에 따르면 개발자가 작업을 55% 더 빨리 완료하는 것으로 나타났습니다.
• 자신감: 85%의 개발자가 코드 품질에 대해 더 자신감을 갖게 되었습니다.
• 즐거움: 88%의 개발자가 흐름 상태를 유지하기가 더 쉬워졌다고 답했습니다.

실제로 Microsoft는 Copilot 사용자 중 40% 이상의 코드를 Copilot이 작성한다고 지적했습니다. 이 중 일부는 자동완성 등으로 작성된 코드도 포함되지만, 여전히 엄청난 수치입니다!

고객 지원

Fortune 500대 기업에게 AI를 어떻게 사용할 계획인지 물어보면 고객 지원 분야에서 AI를 사용하여 티켓을 보강하거나 상담원을 대체한다는 답변이 다른 어떤 분야보다 자주 나옵니다.

2023년 중반에 MIT와 스탠퍼드에서 진행한 "직장에서의 생성적 AI"라는 연구는 어떤 면에서는 매우 초보적인 설정이었지만 이 환경에서 AI가 어떤 영향을 미칠 수 있는지에 대해 엿볼 수 있었습니다.

이 연구에서는 5,000명 이상의 상담원과 티켓의 데이터로 학습된 Gen AI 챗봇이 도입되어 상담원에게 고객 응대 방법에 대한 실시간 제안을 제공하는 데 사용되었습니다.

그 결과는 다음과 같습니다:

• 효율성 향상: 상담원들은 평균적으로 시간당 약 14% 더 많은 티켓을 해결할 수 있었으며, 이전과 동일한 만족도를 보였습니다.
• 고르지 않은 영향: 상담원의 근속 기간/숙련도에 따라 그 영향은 매우 다양했습니다. 숙련도가 가장 낮은 상담원은 AI를 사용하여 34% 더 생산적이었던 반면, 숙련도가 가장 높은 상담원은 (이 설정에서) 생산성이 전혀 개선되지 않았습니다.
• 더 빠른 학습: 아래 그래프에서 볼 수 있듯이 AI를 사용하면 경력이 짧은 상담원이 더 빨리 경험 곡선을 올라갈 수 있고, 경력이 많은 동료의 생산성을 '모방'할 수 있습니다.

• 더욱 공감하는 커뮤니케이션: 상담원이 불만을 품은 고객과 더 공감할 수 있도록 AI 제안을 제공한 결과, 고객들은 상담원을 훨씬 더 긍정적으로 대했습니다.

컨설팅

가장 흥미로운 연구는 HBS에서 BCG 컨설턴트를 대상으로 한 연구로, 750명의 컨설턴트를 세 그룹(AI 액세스 없음, GPT-4 액세스, 프롬프트 교육을 받은 GPT-4 액세스)으로 나누어 업무의 일부로 자주 수행하는 다양한 작업을 제공한 것입니다.

그 결과는 다음과 같습니다:

• 생산성 향상: AI를 사용한 컨설턴트는 더 많은 작업을 더 빨리 완료했습니다. 평균 12.2% 더 많은 작업을 완료했으며, 평균 25.1% 더 빨리 작업을 완료했습니다.
• 품질 향상: 또한 아래 그래프에서 볼 수 있듯이 40%나 더 높은 수준의 품질로 작업을 완료했습니다(인간과 AI의 품질 평가 기준).

• 성과가 낮은 컨설턴트에게 더 많은 도움: 기술 분포에 관계없이 모든 컨설턴트가 AI를 통해 상당한 혜택을 받았지만 평균 이하의 성과를 보인 컨설턴트는 평균 43%, 평균 이상의 컨설턴트는 17% 향상되었습니다. 이는 위의 고객 지원 연구 결과와 유사합니다.

• AI가 모든 작업에 적합한 것은 아님: 참가자들에게는 현재 AI의 능력을 벗어난 것으로 알려진 과제들도 주어졌습니다. 이러한 과제에서 AI를 사용한 그룹은 그렇지 않은 그룹에 비해 정답을 맞히거나 과제를 완료할 확률이 19% 낮게 나타나 성적이 더 나빴습니다.

마치며

인터페이스와 도구가 아직 초기 단계이긴 하지만 지식 업무에 어떤 영향을 미칠지에 대한 몇 가지 공통된 주제가 보이기 시작했습니다:

생산성 및 품질 향상: 일부 연구에서 암시된 바와 같이, 이러한 인터페이스와 도구는 한 사람이 완료할 수 있는 작업의 수와 결과물의 품질 측면에서 생산성을 향상시키는 데 도움이 될 수 있습니다.

불균등한 혜택: 적어도 현재로서는 성과가 낮은 직원이 AI를 통해 더 많은 것을 얻을 수 있고, 더 빨리 최고 성과자 수준으로 성과를 올리는 데 도움이 될 수 있다는 점에서 그 혜택이 어떤 면에서는 상당히 불균등합니다. 하지만 그렇다고 해서 최고 성과자에게도 도움이 되지 않는다는 의미는 아닙니다. 비록 적은 수준이지만 생산성을 향상시킬 수 있을 뿐만 아니라 업무의 고단함을 덜어주는 데도 도움이 될 수 있습니다.

만병통치약은 아닙니다: 인공지능이 아직 모든 것을 도와줄 수는 없으며, 인공지능이 할 수 있는 일과 할 수 없는 일을 파악하는 것이 매우 중요합니다. BCG 연구의 예에서 볼 수 있듯이, 능숙하지 않은 업무에 AI를 사용하려고 하면 오히려 업무 성과가 더 나빠질 수 있습니다. 이는 시간이 지남에 따라 기능이 향상됨에 따라 달라지겠지만, AI를 정기적으로 사용하면서 어떤 업무에 AI를 사용할지, 사용하지 않을지에 대한 이해도를 높여야 합니다.