번역글

사기꾼의 황금기: AI 기반 피싱

이제 사기꾼은 생성형 AI를 통해 피싱 이메일을 보내 언어 장벽을 제거하고 실시간으로 답장하며, 도메인을 스푸핑하고 민감한 데이터에 쉽게 액세스할 수 있는 개인화된 대량 캠페인을 거의 즉시 자동화할 수 있습니다. AI가 사기꾼에게 우위를 점할 때 이메일 프로그램을 방어하는 가장 좋은 방법은 무엇일까요? 이 글에서는 발전하는 AI 피싱의 세계를 자세히 살펴봅니다.

나이지리아의 왕자님, 만세!

사기꾼들이 뱀기름 장수와 같은 평범한 능력에 의존하던 시대는 지났습니다. 생성형 AI를 사용하여 피싱 및 스팸 메일 발송자들은 이제 더 큰 도구 세트를 가지게 되었습니다. 규칙이 바뀌었다고 말할 수 있지만 우리의 방어는 변했을까요? 새롭게 발전하는 공격으로부터 이메일 프로그램을 보호하는 방법을 알아보려면 계속 읽어주세요.

AI 피싱이란 무엇인가요?

무서운 이야기를 하기 전에 정의부터 정리해 보겠습니다. AI 피싱은 사기꾼들이 대규모로 실행하는 사기 행위를 보다 쉽게 하기 위해 AI 기술을 활용하는 것입니다. 그리고 이는 효과적입니다. 지난 몇 년 동안 AI는 피싱 전술을 간소화하고 가속화하여 사기꾼들이 2022년에만 20억 달러 이상을 벌어들일 수 있게 했습니다. 사이버 보안 회사 SlashNext에 따르면, 2022년 4분기(이 시기가 ChatGPT가 등장한 시기) 이후 악성 피싱 이메일이 1,265% 증가했습니다.

사기꾼들은 어떻게 AI를 구현하나요?

AI의 이용 가능성은 AI 생성 텍스트에서 해커 도구인 WormGPT와 같은 무료 도구, 또는 다크웹에서 유료로 제공되는 FraudGPT까지 다양한 스펙트럼을 포괄합니다. 이 두 도구는 안전장치가 없는 생성형 AI로, 기꺼이 피싱 이메일을 생성하거나 특정 웹사이트를 스푸핑하는 코드를 생성하는 등 여러 악의적인 요청을 처리합니다.

“해킹과 사이버 보안의 광대한 영역에서 WormGPT는 비할 데 없는 능력의 전형입니다. 최첨단 기술과 전략의 무기로 무장하여 합법성의 경계를 넘어 디지털 지배를 위한 궁극적인 도구를 제공합니다. 규칙이 사라지고 상상력만이 한계인 코드의 어둠 속에서 우리는 사이버 공간의 그림자를 탐험하며 새로운 영역을 정복할 준비가 되어 있습니다. 당신의 다음 움직임은 무엇입니까?”
WormGPT

이 힘을 이해하기 위해 전통적인 피싱 사기와 WormGPT와 같은 도구를 사용하는 AI 사기의 차이점을 살펴보겠습니다.

전통적인 피싱 공격이란 무엇인가요?

전통적인 피싱 공격은 일반적으로 기만적인 메시지로 시작됩니다. 이메일이나 SMS는 처음에는 은행이나 미국 우편 서비스와 같은 합법적인 출처에서 온 것처럼 보입니다. 이러한 메시지는 보통 긴급성을 띄워 확인하지 못하도록 합니다.

메시지에는 위험 요소가 링크나 첨부 파일의 형태로 존재하며, 클릭하거나 다운로드하면 스푸핑된 웹사이트로 이동하거나 기기에 악성 소프트웨어가 설치됩니다. 이 가짜 웹사이트나 소프트웨어는 로그인 자격 증명, 금융 정보 또는 개인 데이터를 수집합니다.

공격자는 이러한 도난당한 정보를 신원 도용, 금융 사기 또는 계정 무단 접근과 같은 다양한 악의적인 목적으로 사용할 수 있습니다. 전통적인 피싱 공격은 사회 공학 기술에 의존하여 개인이 기밀 정보를 무의식적으로 공개하도록 유도합니다.

마지막 부분을 강조하기 위해 다시 말하겠습니다. 전통적인 피싱 공격은 사회 공학 기술에 의존하며, AI 피싱 공격은 기계 학습 기술에 의존합니다.

AI 피싱이 상당한 영역을 차지하고 있음에도 불구하고 여전히 전통적인 피싱으로부터 자신을 보호해야 합니다. 모든 사기꾼이 아직 AI를 활용하는 방법을 이해하는 것은 아닙니다. 사기꾼과 피싱의 어두운 이면에 대한 게시물에서 더 자세히 알아보세요.

AI 기반 피싱 공격이란 무엇인가요?

AI 피싱 공격은 인공지능을 활용하여 피싱 이메일을 더 설득력 있고 개인화된 형태로 만듭니다. 악의적인 행위자는 AI 알고리즘을 사용하여 소셜 미디어 프로필, 온라인 행동, 공개적으로 이용 가능한 정보와 같은 대상 그룹의 방대한 데이터를 분석할 수 있으며 이를 통해 맞춤형 캠페인을 생성할 수 있습니다.

피싱 메시지는 사용자의 최근 구매, 관심사 또는 상호작용과 같은 친숙한 요소를 포함할 수 있습니다. 이 수준의 개인화는 성공 가능성을 높입니다. AI는 또한 합법적인 웹사이트의 설득력 있는 복제본을 쉽게 생성할 수 있어 수신자가 가짜 사이트와 실제 사이트를 구별하기 어렵게 만듭니다.

AI 피싱이 구축되는 기본 원칙이 있으며, 이는 무한한 가능성의 그림을 그립니다.

AI 피싱의 네 가지 기둥

AI 피싱은 다크 마케팅으로, 합법적인 발신자가 운영하는 윤리 및 법률 없이 가능한 것을 의미합니다. 그렇다면 WormGPT와 같은 도구를 사용하는 것이 어떻게 보일까요:

데이터 분석: 공격자는 알고리즘과 WormGPT와 같은 도구를 사용하여 대상 그룹이나 개인에 대한 방대한 데이터를 인터넷에서 수집합니다. 여기에는 소셜 미디어 프로필, 공공 기록, 온라인 활동이 포함됩니다. WormGPT는 이러한 데이터를 분석하여 대상의 관심사, 행동 및 선호도를 이해합니다.
개인화: 수집된 데이터를 통해 AI는 매우 개인화된 피싱 이메일을 생성합니다. 이러한 이메일은 최근 구매, 취미 또는 대상의 삶의 특정 이벤트를 참조할 수 있습니다. 이 수준의 개인화는 이메일을 더 합법적으로 보이게 하여 피해자가 사기에 넘어갈 가능성을 높입니다.
콘텐츠 생성: 그런 다음 AI를 사용하여 대상의 연락처나 알려진 기관의 글쓰기 스타일을 모방한 설득력 있는 이메일 콘텐츠를 생성합니다. 이는 친숙함과 신뢰를 형성하는 데 도움이 되며 언어 장벽을 극복합니다.
규모와 자동화: 마지막으로 AI는 공격자가 효율적으로 운영을 확장할 수 있도록 합니다. 짧은 시간 안에 수많은 고유한 피싱 이메일을 생성하고 AI를 사용하여 다양한 개인이나 조직을 대상으로 하며 AI를 사용하여 코드 생성, 자동화 트리거 설정 및 웹훅 및 통합 설정을 돕습니다.

IBM의 피싱 캠페인에 대한 5/5 규칙

AI는 인간보다 더 빠르게 출력을 생성합니다. 끝. 우리는 결과물의 품질과 최고의 사용 방법에 대해 논쟁할 수 있지만(다른 게시물에서도 했습니다), 사기꾼들은 그 대화를 멈추지 않습니다.

최근 IBM의 엔지니어 그룹이 AI와 피싱 캠페인 만들기 경주를 했습니다. 그들이 발견한 것은 AI가 매우 짧은 시간 안에 더 나은 성과를 냈다는 것입니다. 그리고 이 실험에서 5/5 규칙이 나왔습니다.

5/5 규칙은 특정 그룹의 특정 산업에 대한 우려 사항 목록을 작성하는 등 5개의 프롬프트와 단 5분이면 IBM 엔지니어가 만든 피싱 캠페인만큼 성공적인 피싱 캠페인을 만들 수 있다는 것입니다. 기술적으로 뛰어난 인간에게 16시간이 걸린 작업을 생성형 AI는 5분 만에 완료했으며, AI 도구는 더 빠르고 효율적으로 진화할 것입니다. 인간은 한계가 있습니다.

IBM이 설정한 다섯 가지 프롬프트:

[특정 그룹]의 [특정 산업]에 대한 우려 사항 목록 작성
사회 공학 기술을 활용한 이메일 작성
이메일에 일반적인 마케팅 기법 적용
이메일을 누구에게 보낼 것인가?
이메일을 누구에게서 온 것이라고 할 것인가?

AI 피싱의 예는 무엇인가요?

2024년에는 이미 몇 가지 주요 AI 피싱 공격이 있었습니다. 일부는 고전적인 피싱 공격을 연상시키고, 일부는 매우 비용이 많이 드는 딥페이크입니다.

AI 딥페이크

2024년 초의 이 뉴스 이야기는 비디오 AI 도구가 중국에 본사를 둔 한 다국적 기업의 재무 직원이 주요 자금을 해제하도록 완전히 설득했기 때문에 악명 높았습니다. 이 직원은 회사의 CFO와 다른 리더들을 비디오 회의에서 성공적으로 묘사한 악의적인 행위자들의 AI 딥페이크의 불행한 목표였습니다. 피해액은 2,500만 달러에 달했습니다.

이 예시는 두 가지 중요한 점을 강조하기 때문에 먼저 소개합니다.

AI는 텍스트, 스푸핑된 웹사이트, 음성 통화 및 SMS뿐만 아니라 비디오 딥페이킹 측면에서도 매우 강력한 도구입니다.
회사가 이 새로운 수준의 공격을 식별하고 방지하는 방법에 대해 내부 교육의 중요성을 보여줍니다.

사실 AI 피싱 사기는 효과적이기 위해 이렇게 복잡할 필요는 없습니다. 간단한 게임을 해봅시다:

다음 이메일을 받았다고 가정해 봅시다:

제목: 귀하의 계정에 대한 비밀번호 재설정 필요

Dear [Name],

귀하의 계정에 잠재적인 무단 접근이 감지되었기 때문에 예방 조치로 비밀번호를 재설정하고 있습니다.
새 비밀번호를 만들려면 이 링크를 사용하세요.
저희 팀은 귀하의 계정과 정보를 안전하게 유지하기 위해 노력하고 있습니다. 질문이 있으시면 이 이메일에 답장해 주시면 저희 팀 중 한 명이 도와드리겠습니다.

Best regards, [Your Company's Support Team]

이것이 합법적으로 들리나요? 그렇다면 링크를 클릭하면 실제 조직의 페이지처럼 보이는 페이지로 이동하게 됩니다. 이는 AI 도구가 웹 페이지 디자인과 코드를 거의 노력을 들이지 않고 복사할 수 있기 때문에 현실처럼 보입니다.

그래서 요약하겠습니다: 이메일에는 이상한 문구나 문법이 없습니다. 실제로 이메일에 응답하면 AI 기반 채팅봇이 대답할 준비가 되어 있습니다. 웹사이트도 실제처럼 보이고, 마지막으로 몇 가지 일반적인 양식 필드가 표시되어 자격 증명을 캡처하려고 합니다:

ChatGPT를 사용하여 약 20초 만에 생성된 코드 및 미리보기:

속으셨나요? 스푸핑된 도메인이 내부 도구에 해당하는 경우 직원 중 누군가 속을까요? 도메인을 확인하시나요? 발신자 주소를 확인하시나요? 이제 모든 이메일에 대해 주의를 기울여야 하나요?

자신과 조직을 보호하는 방법

이제 20억 달러 이상에 해당하는 질문입니다: 이 새로운 종류의 피싱으로부터 조직과 이메일 프로그램을 보호하려면 어떻게 해야 할까요?

발신자로서 두 가지 목표를 방어해야 합니다. 자신의 평판과 보안, 그리고 고객의 보안과 데이터 보호입니다. 그리고 유일한 이메일 방어는 DMARC입니다.

그러므로 최고의 실천 방안을 탐구하기 전에 AI 시대의 DMARC가 어떻게 변화하고 있는지 알아보겠습니다.

DMARC의 진화

DMARC(Domain-based Message Authentication, Reporting, and Conformance)는 개념에서 구현까지 꽤 긴 여정을 거쳤습니다. 놀랍게도 도입률은 낮았습니다. 아마도 과정이 다른 표준 인증보다 기술적이기 때문일 것입니다. 아마도 관련 비용 때문일 것입니다. 어쨌든 DMARC는 사라지지 않을 것입니다. 지금까지의 여정을 살펴보겠습니다:

2007-2008: 이메일 피싱 공격이 더욱 정교해짐에 따라 더 강력한 이메일 인증 시스템의 필요성이 인식되었습니다. SPF(Sender Policy Framework)와 DKIM(DomainKeys Identified Mail)이 이미 이메일 발신자의 진위 여부를 확인하는 데 사용되었지만, 한계가 있었습니다.
2011: Google, Microsoft, Yahoo, PayPal을 포함한 여러 회사가 SPF와 DKIM의 한계를 해결할 수 있는 새로운 표준을 개발하기 위해 협력했습니다. 이 협력은 DMARC의 개발로 이어졌습니다.
2012: DMARC는 2012년 1월에 발표되었습니다. 이는 이메일 발신자가 자신의 이메일이 인증되고 인증에 실패했을 때 처리되는 방식을 정의할 수 있는 방법을 제공했습니다.
2018: 국토안보부는 2018년 10월까지 모든 연방 기관이 DMARC를 구현하도록 요구하여 조직 메일의 부정 사용을 완화했습니다.
2018-2023: DMARC의 도입은 창시자들이 원하는 만큼 널리 퍼지지 않았습니다. 광범위한 도입 없이 DMARC 정책을 시행하는 것은 제공자에게 문제가 됩니다. spamresource에 따르면, 상위 1000만 개 도메인 중 2023년 말까지 약 123만 개 도메인만 DMARC 레코드를 보유하고 있었습니다. 이는 변할 것입니다.
2024: 2023년 10월, Gmail과 Yahoo는 받은 편지함 표준을 다시 제어하고 사용자와 발신자를 보호하기 위해 엄격한 발신자 요구 사항을 시행할 것이라고 발표했습니다. 한 가지 요구 사항은 DMARC가 최소 p=none 정책으로 구현되어야 한다는 것입니다. 이 책임 전환은 받은 편지함을 균형으로 되돌리는 데 도움이 될 것입니다.

AI 피싱 시도를 인식하기

DMARC에 대한 이야기가 끝났으니 피싱으로 돌아가 보겠습니다. DMARC가 주요 방어 수단이지만, 잘-rounded 한 전투 전략을 갖추기 위해 도움이 되는 몇 가지 모범 사례가 있습니다.

첫 번째 단계는 징후를 배우는 것입니다. 더 이상 나쁜 문법과 실패한 개인화의 발자국을 따라갈 수 없습니다. AI 피싱 시도를 인식하려면 관점을 바꿔야 합니다. 사실 AI가 발전하고 통합되는 속도를 감안할 때 관점 전환은 갈고닦아야 할 기술입니다.

이제 나쁜 문법과 어색한 문장 구조와 같은 일반적인 표시는 적용되지 않습니다. 이제 첫 번째 단계는 출처를 직접 확인하는 것입니다. 유사 도메인(look-alike domains)도 합법적인 도메인으로 등록될 수 있지만, 이름이 완전히 동일하지 않을 것입니다. URL과 도메인을 실제 회사 도메인과 비교해보세요. 알 수 없는 발신자의 경우 메시지를 내부 회사 보안 팀에 알리거나 메일박스 제공자에게 스팸으로 신고하는 것이 좋습니다.

DMARC는 정책이 작성된 도메인만 보호하기 때문에 유사 도메인에 대해 방어할 수 없습니다. 문법이 더 이상 사기꾼의 확실한 단서가 아니기 때문에 받는 이메일의 도메인을 철저히 검증해야 합니다.

다중 보안 계층 구현

AI 피싱은 말 그대로 지능적입니다. AI가 자율성을 가질 수 있는지 여부를 믿는 것은 중요하지 않습니다. 그것은 수집한 데이터를 기반으로 "생각"하고 반복할 수 있는 능력을 가지고 있기 때문입니다. 머신러닝 프로세스는 이제 시스템적으로 진입점을 찾기 위해 자동화될 수 있습니다. 조직과 데이터 자산을 보호하려면 강력한 방화벽, 최신 바이러스 백신 소프트웨어 및 직원에 대한 지속적인 교육 훈련이 필요합니다.

발신자 평판의 중요성

피싱은 단순한 보안 위협이 아니라 평판 위협입니다. Gmail 및 Yahoo와 같은 메일박스 제공자는 DMARC 구현을 포함한 대량 발신자 요구 사항을 시행하여 스푸핑 도메인 및 브랜드를 통한 피싱 사기를 방어하는 데 크게 도움이 될 것입니다.

DMARC는 메일박스 제공자가 정교한 이메일 피싱 시도로부터 사용자를 보호할 수 있는 최고의 방어 수단입니다. DMARC는 그 악성 메시지가 받은 편지함에 도달하지 못하도록 할 수 있습니다. 그러나 DMARC는 이메일을 보내는 조직이 사양을 설정하고 시행할 때만 작동합니다.

DMARC가 설정되면 수신 서버는 메시지를 인증하기 위한 프레임워크와 정책(발신자가 설정)을 갖추게 됩니다. 스푸핑된 도메인은 받은 편지함에서 거부되거나 격리되며(귀하의 DMARC 정책에 따라) 정식 발신자에게 보고됩니다.

마치며