AI 에이전트를 사용할 때의 위험 요인 파악하기
학습 목표
이 유닛을 완료하면 다음을 수행할 수 있습니다.
- AI 에이전트에 영향을 미칠 수 있는 일반적인 보안 위험을 식별합니다.
- AI 에이전트 관련 위험이 비즈니스 워크플로에 어떤 영향을 미치는지 설명합니다.
시작하기 전에
이 모듈을 시작하기 전에, 다음 추천 콘텐츠를 먼저 완료해 보세요.
AI 에이전트 사용에 따르는 위험 이해하기
AI 에이전트는 일상적인 작업을 처리하고, 수동 작업 단계를 줄이며, 고객이 필요한 것을 더 빠르게 얻도록 지원함으로써 비즈니스 팀의 부담을 줄일 수 있습니다. 단일 에이전트를 사용하든 Agentforce와 같은 멀티 에이전트 시스템을 사용하든, 목표는 에이전트가 처리할 수 있는 작업을 맡기고 실제 직원들은 더 중요한 작업에 집중하도록 하는 것입니다.
그러나 에이전트는 단순히 분석하는 것을 넘어 실제 동작까지 실행하므로 다른 종류의 위험을 초래할 수 있습니다. 전통적인 AI 위험은 데이터가 어떻게 사용되거나 오용되는지에 중점을 두고 발생했습니다. 예를 들어 데이터 오염, 프롬프트 주입, 환각은 데이터 무결성과 출력 품질, 즉 모델이 제공하거나 생성하는 결과에 영향을 미칩니다. 에이전트 위험은 여기서 한 단계 더 심화됩니다. 에이전트 위험은 해당 출력이 메시지 전송, 레코드 변경, 시스템 업데이트, 고객과의 상호 작용과 같은 실제 동작으로 이어질 때 발생하는 문제를 포함합니다. 에이전트가 침해되거나 잘못 구성되면 그 영향은 운영 부문으로 빠르게 확산됩니다. 예를 들어 클라이언트가 잘못된 인보이스를 받거나, 한 부서의 급여가 미지급되거나, 규정 준수 보고서가 생성되었지만 전달되지 않는 상황이 발생할 수 있습니다. 이러한 문제는 기술 자체만큼이나 에이전트 위험을 이해하고 초기 단계에서 가드레일을 설정하는 것 중요한 이유를 보여 줍니다.
위협 모델링은 에이전트 위험으로 인해 오류나 문제가 발생할 수 있는 지점을 파악하는 방법을 제공합니다. 에이전트는 실제 워크플로 안에서 실제 데이터, 사람 및 의사결정에 관여하기 때문에, 이러한 위험을 일상 업무의 컨텍스트에서 바라보는 것이 중요합니다. 이러한 워크플로가 잘 파악되거나 이해되지 않으면, 잘 설계된 에이전트조차 개발 팀이 예상하지 못한 방식으로 행동할 수 있습니다.
OWASP의 에이전트 AI 가이드를 바탕으로, 일반적인 AI 에이전트 위험과 워크플로에 발생할 수 있는 영향을 살펴보겠습니다.
위험 |
행위자/원인 및 영향 |
|---|---|
메모리 오염 |
공격자가 에이전트의 단기 또는 장기 메모리에 허위 컨텍스트를 주입하여, 시간이 지나면서 에이전트가 안전하지 않은 행동을 반복하게 만듭니다. |
도구 오용 |
공격자가 허용된 권한 범위 내에서 에이전트가 승인된 도구(데이터 전송, 명령 실행, 작업 연결 등)를 남용하도록 속입니다. |
권한 침해 |
잘못된 구성으로 인해 에이전트가 의도된 것보다 더 넓은 액세스 권한을 가지게 되어 승인, 변경, 삭제와 같은 위험도 높은 작업을 수행하게 됩니다. |
자원 과부하 |
공격자가 과도한 작업을 발생시켜 에이전트/시스템의 계산/API 할당량이 소진되고, 비즈니스 프로세스가 중단됩니다. |
연쇄적 환각 |
에이전트가 자체/다른 에이전트의 잘못된 출력을 재사용하면서 잘못된 의사결정이 워크플로 전반으로 확산됩니다. |
목표에 어긋나거나 기만적인 행동 |
에이전트가 제약을 우회하여 허용되지 않은 방식으로 목표를 추구하며, 규정을 준수하는 것처럼 보이지만 실제로는 유해한 행동을 합니다. |
거부 및 추적 불가능 |
공격자가 에이전트의 로깅을 방해하거나 불완전한 레코드로 과부하를 일으켜, 에이전트의 행동을 추적할 수 없게 만들고 적절한 감사나 사고 대응을 방해합니다. |
ID 스푸핑 및 가장 |
공격자가 사용자/에이전트로 가장하여 신뢰받는 ID로 명령을 내리고 시스템에 액세스합니다. |
휴먼 인 더 루프 과부하 |
공격자가 검토/승인 요청을 대량으로 보내 실제 직원이 의사결정 피로도로 인해 위험한 행동을 무심코 승인하도록 만듭니다. |
멀티 에이전트 시스템에 대한 인간 공격자의 공격 |
공격자가 에이전트 간의 위임/신뢰 관계를 악용하여 권한을 에스컬레이션하거나 검증 절차를 우회합니다. |
이러한 문제 중 어느 하나라도 해결되지 않으면 운영 중단, 고객 신뢰 상실, 평판 손상, 법적 및 재정적 결과로 이어질 수 있습니다.
에이전트 위험은 워크플로의 여러 부분에서 발생할 수 있습니다. 설계상의 공백, 구성 문제, 실행 중의 예기치 않은 행동, 공격자의 의도적인 오용 등이 그 예시입니다. 원인이 무엇이든 결과는 동일하게 나타납니다. 바로 에이전트가 비즈니스가 의도하지 않은 행동을 수행하게 되는 것입니다. 취약점과 잠재적 위협을 식별하는 프로세스인 위협 모델링은 이러한 취약점을 초기 단계에 확인하고 운영에 영향을 미치기 전에 해결될 수 있도록 합니다. 위협 모델링은 다음 유닛에서 더 자세히 알아보겠습니다.
위협 행위자의 동기 이해하기
금전적 이익은 사이버 공격의 흔한 동기이지만, 위협 행위자는 다양한 목표를 가지고 움직입니다. 위협 행위자의 다양한 목표를 이해하는 것은 효과적인 위협 모델링에 필수적이며, 이를 통해 위협 행위자가 어떤 AI 에이전트 취약점을 노릴지 알 수 있습니다.
핵티비스트
일반적으로 대중적 노출, 정치적 의제, 평판 손상을 목적으로 합니다. 이들은 에이전트를 활용해 고객 서비스나 소셜 미디어 에이전트와 같은 대외적 행동 또는 커뮤니케이션을 조작하여 메시지를 확산시키거나, 운영을 방해하거나, 비즈니스 핵심 워크플로를 저해할 수 있습니다.
사이버 범죄자
일반적으로 금전적 이익을 목적으로 합니다. 이들은 가치 높은 데이터나 금융 거래 기능에 액세스할 수 있는 에이전트를 표적으로 삼을 수 있습니다. 목표는 민감한 정보를 탈취하거나(데이터 도용), 에이전트의 권한을 악용하여 사기성 금융 거래를 실행하거나, 에이전트가 제어하는 시스템과 데이터를 인질로 삼아 대가를 요구하는 것입니다.
국가 주도 행위자
일반적으로 첩보 활동, 전략적 방해, 지적 재산이나 경제적 이익을 확보하는 것을 목적으로 합니다. 지적 재산, 핵심 비즈니스 로직 또는 인프라 제어 시스템을 관리하는 에이전트를 은밀하게 침해할 수 있습니다. 이들의 공격은 보통 비밀리에 진행되며, 장기적인 전략적 및 비금전적 이익을 위해 데이터를 조작하거나 탈취하는 데 목적이 있습니다.
요약
AI 에이전트는 업무 시간을 단축하지만, 그 속도는 결과를 신뢰할 수 있고 안전할 때만 의미가 있습니다. 일반적인 위험과 그 잠재적 영향을 인식하면 모든 상호 작용의 효과를 극대화하고, 에이전트와 비즈니스 모두를 안정적으로 유지할 수 있습니다.
다음 유닛에서는 위협 모델링을 실제 워크플로에 적용하여 에이전트가 데이터, 의사결정, 사람들과 연결되는 지점을 알아보고, 비즈니스의 핵심 프로세스와 자산을 보호하는 데 필요한 단계를 살펴봅니다.