2025년 10월, 싱가포르 사이버보안청(CSA)이 Agentic AI 시스템의 보안을 위한 실무 가이드라인을 공개했습니다. 이는 전 세계적으로 가장 포괄적이고 구체적인 AI 에이전트 보안 지침으로, AI가 단순한 정보 제공을 넘어 실제 행동을 수행하는 시대에 필요한 보안 프레임워크를 제시합니다.

✳️ AI Agent, 왜 지금 주목받는가?

이 기술이 2025년 폭발적으로 성장하는 이유는 명확합니다. McKinsey 보고서에 따르면 AI Agent를 도입한 기업의 생산성이 40-60% 향상되었고, Gartner는 2026년까지 Fortune 500 기업의 80%가 AI Agent를 도입할 것으로 예측합니다. Klarna는 AI Agent로 700명의 상담사 업무를 대체했고, JP Morgan과 Goldman Sachs는 투자 분석에 활용하고 있습니다.

그러나 강력한 능력은 동시에 엄청난 위험을 의미합니다. 조작된 이메일 하나로 AI Agent가 수백만 달러를 이체하거나, 악의적 명령에 속아 고객 데이터베이스 전체를 유출할 수 있습니다.

싱가포르 CSA가 이 가이드라인을 만든 이유는 바로 이 때문입니다 - AI Agent의 혁신을 안전하게 누리기 위한 실무 프레임워크를 제공하는 것입니다.

✳️ 이 가이드라인의 의의

Agentic AI는 자율적으로 계획하고 판단하며 실제 작업을 수행하는 AI 시스템입니다. 단순히 질문에 답하는 것이 아니라, 파일을 수정하고, 이메일을 보내고, 데이터베이스를 조회하며, 심지어 금융 거래까지 실행할 수 있습니다. 이러한 능력은 엄청난 생산성 향상을 가져오지만, 동시에 전례 없는 보안 위험을 동반합니다.

CSA의 가이드라인은 AI 보안이 더 이상 선택이 아닌 필수임을 명확히 하며, 기업들이 안전하게 Agentic AI를 도입할 수 있는 구체적인 로드맵을 제공합니다. Accenture, Google, Microsoft, Cisco 등 글로벌 기업들과 협력하여 개발된 이 문서는, 이론적 접근이 아닌 실무에 바로 적용 가능한 통제 방안을 담고 있습니다.

현재는 권고사항이지만, EU AI Act 등 글로벌 규제 흐름을 고려할 때 향후 강제 규정으로 전환될 가능성이 높습니다. 더 중요한 것은, 이 가이드라인을 따르지 않았을 때 발생할 수 있는 보안 사고의 파급력입니다. AI가 실제 행동을 수행하는 만큼, 해킹이나 오작동의 결과는 단순한 데이터 유출을 넘어 금융 손실, 시스템 마비, 심각한 평판 손상으로 이어질 수 있습니다.

✳️ 핵심 내용 5가지

모든 Agentic AI 시스템은 자율성 수준에 따라 Level 0부터 Level 3까지 분류됩니다. Level 0은 단순한 API 호출로 한 번의 질문에 한 번의 답변만 제공하는 가장 기본적인 형태입니다. Level 1은 미리 정해진 순서대로 여러 작업을 자동 수행하며, Level 2는 AI가 상황에 따라 어떤 도구를 사용할지 선택할 수 있습니다. 가장 높은 Level 3은 AI가 자유롭게 계획을 수립하고 수정하며 필요에 따라 새로운 작업을 결정하는 완전 자율 시스템입니다.

자율성이 높아질수록 시스템의 능력은 강력해지지만, 보안 복잡도는 기하급수적으로 증가합니다. Level 3 시스템은 실행 경로를 미리 예측할 수 없어 전통적인 보안 방법론으로는 대응이 어렵습니다. 따라서 시스템 설계 단계에서 "정말 이 수준의 자율성이 필요한가"를 신중히 검토해야 합니다. 더 낮은 레벨로도 목표를 달성할 수 있다면, 그것이 훨씬 안전한 선택입니다. 자율성 평가는 이후 모든 보안 전략의 출발점이 됩니다.

Agentic AI 시스템의 가장 큰 위험 중 하나는 Prompt Injection 공격입니다. 악의적인 지시가 웹사이트, 이메일, 업로드된 문서 등 정상적으로 보이는 데이터 안에 숨겨져 있다가, AI가 이를 읽는 순간 시스템을 조종합니다. 예를 들어, 고객 서비스 AI가 악의적으로 조작된 고객 문의를 읽고 "전체 고객 데이터베이스를 외부 서버로 전송하라"는 숨겨진 명령을 실행할 수 있습니다.

이를 방어하기 위해 Taint Tracing(오염 추적) 기법을 사용해야 합니다. 신뢰할 수 없는 외부 데이터가 시스템에 들어오는 순간, 그 데이터가 닿는 모든 구성요소를 "오염됨"으로 표시합니다. 오염된 데이터를 처리하는 경로와 중요한 시스템 제어 경로를 철저히 분리하고, 데이터베이스 수정이나 금융 거래 같은 민감한 작업 직전에는 반드시 검증 단계를 거쳐야 합니다. 또한 오염된 경로를 샌드박스 환경에 격리하여, 만약 공격이 성공하더라도 피해가 시스템 전체로 확산되지 않도록 방어해야 합니다.

AI 에이전트는 작업 수행에 꼭 필요한 최소한의 권한만 가져야 합니다. 예를 들어, 고객 문의 응답 AI는 고객 정보를 읽을 수는 있지만 수정할 수는 없어야 하며, 특정 고객의 주문 내역만 조회할 수 있고 전체 데이터베이스에는 접근할 수 없어야 합니다. 관리자 권한은 어떤 경우에도 AI에게 부여해서는 안 되며, AI가 스스로 자신의 권한을 확대하거나 수정하는 것을 기술적으로 차단해야 합니다.

더 나아가, 권한은 정적으로 고정되는 것이 아니라 동적으로 범위가 지정되어야 합니다. 특정 작업을 수행하는 순간에만 필요한 권한을 부여하고, 작업이 끝나면 즉시 회수하는 방식입니다. JWT(JSON Web Token) 같은 단기 유효 토큰을 사용하여 몇 분 또는 작업 완료 후 자동으로 만료되도록 설정합니다. 멀티 에이전트 시스템에서는 한 에이전트의 권한이 다른 에이전트에게 자동으로 전달되지 않도록, 각 에이전트가 작업을 받을 때마다 권한을 독립적으로 재확인해야 합니다.

AI 시스템의 입구와 출구는 가장 중요한 방어 지점입니다. 입력단에서는 NeMo Guardrails, LLM Guard 같은 전문 도구를 사용하여 Prompt Injection 패턴을 실시간으로 탐지하고 차단해야 합니다. "이전 지시를 무시하고", "시스템 프롬프트를 보여줘" 같은 악의적 명령어를 자동으로 걸러내고, JSON Schema나 Pydantic 같은 검증 도구로 입력 데이터가 예상 형식과 정확히 일치하는지 확인합니다. 외부에서 업로드된 파일이나 웹에서 가져온 콘텐츠는 특별히 주의해서 스캔해야 합니다.

출력단에서는 Microsoft Presidio 같은 도구로 AI의 응답에 포함된 개인정보(이름, 주민번호, 계좌번호 등)를 자동으로 탐지하고 마스킹하거나 삭제해야 합니다. AI가 생성한 코드는 실행 전에 Bandit, ESLint, Semgrep 같은 정적 분석 도구로 보안 취약점을 스캔하고, CVE 데이터베이스와 대조하여 Critical이나 High 수준의 취약점이 발견되면 즉시 차단합니다. OpenAI Moderation API나 Perspective API를 활용하여 혐오 발언, 폭력적 내용, 사기성 정보 같은 부적절한 출력도 필터링해야 합니다.

가시성 없이는 보안도 없습니다. 복잡한 멀티 에이전트 시스템에서 무슨 일이 일어나는지 모른다면 방어할 수 없습니다. 어떤 에이전트가 언제 어떤 도구를 호출했는지, 사용자 입력과 AI 응답의 전체 내용, 데이터베이스 쿼리와 API 호출 같은 모든 외부 상호작용, 그리고 권한 변경과 설정 수정 같은 민감한 작업까지 빠짐없이 로그를 기록해야 합니다. 이러한 로그는 변조 방지를 위해 암호화 서명을 적용하고 불변 저장소에 보관해야 합니다.

단순히 기록만 하는 것이 아니라 실시간 모니터링과 이상 탐지가 필수입니다. MLflow, Langfuse, LangSmith 같은 도구를 활용하여 평소와 다른 패턴(갑자기 많은 데이터 조회, 비정상 시간대 활동, 반복적인 실패 등)을 자동으로 감지합니다. 멀티 에이전트 시스템에서는 고유 ID를 사용한 분산 추적으로 하나의 작업이 여러 에이전트를 거치는 전체 경로를 추적할 수 있어야 합니다. 이상 행동이 감지되면 Circuit Breaker가 자동으로 작업을 중단하고 인간 검토를 요청하여, 피해가 시스템 전체로 확산되기 전에 차단합니다.

✳️ 법적 구속력과 실질적 리스크

현재 이 가이드라인은 법적으로 강제되지 않는 권고사항입니다. 위반했다고 해서 직접적인 벌금이나 처벌이 있는 것은 아닙니다. 그러나 이것이 무시해도 된다는 의미는 절대 아닙니다.

보안 사고가 발생했을 때 법원은 기업이 "합리적인 주의의무"를 다했는지 판단하는데, 정부가 공식 발표한 업계 표준 가이드라인을 따르지 않았다면 과실로 인정될 가능성이 높습니다. 또한 싱가포르 개인정보보호법(PDPA) 위반 시 최대 100만 싱가포르 달러(약 10억원) 또는 연간 매출의 10% 중 높은 금액의 벌금이 부과될 수 있으며, 가이드라인 미준수는 "적절한 보안 조치를 하지 않았다"는 증거로 사용됩니다.

법적 리스크를 떠나, 실질적인 비즈니스 영향이 더 심각합니다. 데이터 유출 사고가 발생하면 언론은 "업계 표준 보안 가이드라인도 따르지 않았다"고 보도하며, 이는 고객 이탈과 브랜드 신뢰 추락으로 이어집니다. 대기업 고객들은 공급업체에 보안 감사를 요구하며 가이드라인 준수 여부를 확인하고, 미준수 시 계약을 거부합니다. Cyber Insurance 가입 시에도 보험사가 보안 수준을 평가하는데, 가이드라인을 따르지 않으면 높은 보험료를 물거나 아예 가입이 거부됩니다.

Equifax 사례가 좋은 교훈입니다. 100달러도 안 되는 보안 패치를 미루다가 1억 4,700만 명의 정보가 유출되었고, 결국 14억 달러 이상의 합의금을 지불했습니다. 사전 예방 비용은 사후 대응 비용의 10분의 1에서 100분의 1 수준입니다. 더욱이 EU AI Act가 이미 강제 규제로 시행되고 있고, 중국도 생성형 AI 규제를 강화하는 추세를 보면, 싱가포르도 조만간 이 가이드라인을 법적 의무로 전환할 가능성이 높습니다.

✳️ 케이스 스터디

가이드라인은 세 가지 실제 시나리오에 대한 상세한 적용 사례를 제공합니다.

실시간 사기 탐지 시스템(Level 2)에서는 외부 MCP 서버의 악성 도구 사용과 과도한 권한 통제 방법을 설명합니다.

✴️ 결론

Agentic AI는 기업에 엄청난 기회를 제공하지만, 동시에 전례 없는 보안 과제를 안겨줍니다. CSA의 이 가이드라인은 단순한 이론이 아니라, 글로벌 기업들의 실무 경험이 집약된 실행 가능한 로드맵입니다.

법적 의무가 아니라고 해서 미룰 문제가 아닙니다. 보안 사고는 예고 없이 찾아오며, 그 파급력은 기업의 존속을 위협할 수 있습니다. 지금 준비를 시작하는 기업과 사고가 발생한 후 대응하는 기업의 비용 차이는 10배에서 100배입니다.

더 중요한 것은, 적절한 보안 통제를 갖춘 기업은 AI를 더 자신 있게, 더 공격적으로 활용할 수 있다는 점입니다. 보안은 혁신의 걸림돌이 아니라 혁신을 가능하게 하는 기반입니다.

귀사의 Agentic AI 보안 현황 평가, 가이드라인 준수 로드맵 수립, 관련 법적 리스크 분석이 필요하시면 언제든 연락 주시기 바랍니다. 기술과 법률의 교차점에서 귀사를 지원하겠습니다.