보안 AI 환각의 정의와 오판 구조
챗봇이 존재하지 않는 논문을 사실처럼 생성하는 현상은 널리 알려져 있습니다. 보안 AI에서도 같은 현상이 발생합니다. 현상을 요약한 데이터만으로 판단해야 하는 상황에서 AI는 사실과 다른 결론을 자신 있게 내놓습니다. 원리는 같지만 결과의 영향이 다릅니다. 일반 영역의 환각은 틀린 답변으로 끝납니다. 보안 영역의 환각은 정상 통신을 위협으로 판정하는 오탐이나 실제 위협을 정상으로 넘기는 오판이 되어 대응 실패로 직결됩니다.
원인은 판단 근거의 공백입니다. 로그와 경보는 무슨 일이 일어났는지를 기록할 뿐, 그 일이 왜 발생했고 실제 통신 내용이 무엇이었는지는 담지 않습니다. AI는 이 공백을 추정으로 채웁니다. 추정은 그럴듯할수록 오히려 위험합니다. 결과 정보만으로는 근거 있는 판단과 구별되지 않기 때문입니다.
환각이 남기는 운영 비용: 악순환과 양극단
환각의 비용은 틀린 판단 한 건으로 끝나지 않습니다. 오탐이 쌓이면 분석가는 발생하는 경보를 개별 수동 확인해야 합니다. 검증 부담이 커질수록 경보 전체에 대한 주의가 낮아지고, 그 사이 실제 위협을 지나치기 쉬워집니다. 오탐이 오탐을 유발하는 악순환입니다.
판단 근거가 확인되지 않을 때 운영자의 행동은 두 극단으로 나뉩니다. AI 경보를 그대로 받아 잘못된 차단과 격리를 실행하거나, 신뢰할 수 없다고 판단해 경보 전체를 무시합니다. 어느 쪽이든 AI를 도입한 의미가 없어집니다. 전자는 오판을 자동으로 실행하는 구조이고, 후자는 경보 생성에만 비용을 소모하는 구조입니다.
규제 산업에서는 이 비용이 운영을 넘어 제도 영역까지 확대됩니다. 금융, 의료, 공공 환경에서 근거를 제시하지 못하는 AI 판단은 감사 대응 실패와 법적 책임으로 이어질 수 있고, 오판에 기반한 조치나 신고는 그 자체로 책임 문제가 됩니다.
제도가 요구하는 것은 관할이 달라도 공통됩니다. 국내는 개인정보의 안전성 확보조치 기준이 개인정보처리시스템 접속기록을 1년 이상, 정보주체 5만 명 이상이거나 고유식별정보와 민감정보를 처리하면 2년 이상 보관하도록 합니다. 일본 개인정보보호법은 개인데이터 유출 시 개인정보보호위원회에 속보를 3일에서 5일 안에, 확보(確報)를 30일 안에 제출하도록 합니다. 미국 NYDFS 23 NYCRR Part 500은 사고 탐지와 대응에 사용하는 감사증적을 3년 이상 보존하게 하고, EU의 디지털 운영 복원력 법(DORA)은 2025년 1월 17일 적용 이후 보안 아키텍처가 규제 요건을 충족하는지 스스로 점검하게 합니다. 판단의 정확도뿐 아니라 판단의 근거를 제시할 수 있는지가 도입 요건이 되는 배경입니다.
보안 AI의 RAG: 환각을 구조로 줄이는 입력 설계
일반 AI 영역에서 환각을 줄이는 대표적인 방법은 검색 증강 생성(RAG)입니다. 모델이 학습된 기억만으로 답하게 두지 않고, 답변 시점에 외부 자료를 검색해 참조하게 하는 구조입니다. 환각을 모델 교체가 아닌 참조 구조의 설계로 줄인다는 점에서 접근이 다릅니다.
보안 AI에서 이 참조 구조에 해당하는 것이 맥락데이터입니다. AI가 경보 요약만 보고 판단하게 두지 않고, 판단 시점에 원본 트랜잭션/세션으로 실제 통신 내용을 확인하게 하고 행위기준선으로 정상 상태 대비 이탈 정도를 참조하게 하는 것입니다. 여기에 탐지설명성(XAI)이 어떤 근거로 그 판단에 이르렀는지 경로를 남기면, 운영자는 일반 AI의 답변에서 참조 문서를 확인하듯 AI 판단의 근거를 확인할 수 있습니다.
다만 3계층을 보존해 두는 것만으로는 부족합니다. AI가 판단하는 시점에 그 데이터를 불러 쓸 수 있어야 합니다. 보관 요건을 충족한 구조라도 판단 시점에 원본이 닿지 않으면 AI는 다시 요약만 보고 판단하게 됩니다.
계층 결합과 오탐 판별 방식
참조 구조의 효과는 각 계층에서 나타나며, 계층이 결합될 때 더욱 커집니다. 행위기준선이 정상 상태와 다른 세션을 탐지하면, 그 세션의 원본을 풀패킷에서 복원해 실제 내용을 확인합니다. 이 결합이 있으면 이탈 세션이 실제 위협인지 정상 업무 패턴의 일시적 변화인지가 추정이 아닌 확인으로 판별됩니다.
실제 위협으로 확인된 경우에도 같은 결합이 조사 단계에서 다시 쓰입니다. 원본이 남아 있으면 유입 경로, 실행 과정, 외부 통신, 유출 여부까지 하나의 사건 흐름으로 재구성할 수 있습니다. 조사가 로그 간 순환 확인이 아닌 원본 기반 확인 작업이 됩니다. 판단 과정이 탐지설명성으로 남아 있으므로 사후 검증과 감사 대응에도 같은 근거를 활용합니다.
환경 조건: 폐쇄망과 클라우드
참조 구조는 데이터가 어디에 있는지에 따라 설계가 달라집니다. 폐쇄망 환경에서는 원본이 외부로 전송되지 않는 구조가 오히려 유리하게 작동합니다. AI가 내부에 보존된 원본만 참조해 판단하면 외부 데이터 의존에서 오는 오염 가능성과 민감 데이터 유출 위험이 함께 줄어듭니다. 환각 억제와 데이터 보호가 같은 구조에서 달성됩니다.
클라우드 환경에서는 반대로 원본 확보 자체가 검토 대상입니다. 가상 네트워크의 트래픽 미러링은 서비스별 지원 범위와 처리 용량에 제약이 있어, 온프레미스와 같은 수준의 전수 수집이 가능한지부터 확인해야 합니다. 미러링 구간에서 손실이 발생하면 그 구간은 AI가 참조할 수 없는 영역이 되고, 참조할 수 없는 영역에서의 판단은 다시 추정에 의존하게 됩니다.
PoC에서 환각 가능성을 검증하는 질문
도입 검토 단계에서 환각 가능성은 기능 목록이 아닌 시연으로 확인합니다. 다음 3가지를 요청하면 참조 구조를 확인할 수 있습니다.
- 같은 경보의 근거를 제시할 수 있는가: 발생한 경보 하나를 선택해 AI가 어떤 특성과 데이터에 근거해 판단했는지 즉시 제시하도록 요청합니다. 근거를 제시하지 못하면 운영 단계에서 양극단 행동이 반복됩니다.
- 이탈 세션의 원본을 복원할 수 있는가: 행위기준선이 탐지한 세션을 원본 수준으로 복원해 오탐 여부를 판별하는 과정을 시연하도록 요청합니다. 복원하지 못하면 오탐 판별은 여전히 수동 추정에 그칩니다.
- 참조 불가 구간이 어디인가: 수집 방식과 환경 제약으로 AI가 참조하지 못하는 구간을 명시해 달라고 요청합니다. 명시되지 않은 공백은 운영 중에 추정으로 채워집니다.
3가지 질문의 공통점은 모델 성능을 묻지 않는다는 것입니다. 환각은 모델 교체가 아닌 판단 시점 참조 데이터의 변경으로 줄어듭니다. 도입 검토의 초점도 참조 구조의 완전성에 맞춰져야 합니다. 이 완전성이 확보될 때, 탐지에서 분석, 판단, 대응으로 이어지는 자율보안운영(Autonomous Security Operations)도 신뢰할 수 있는 근거 위에서 작동합니다.
자주 묻는 질문
Q. 보안 AI 환각은 일반 AI 환각과 무엇이 다른가요?
원리는 같습니다. 참조할 근거 없이 판단하면 그럴듯한 오답이 나옵니다. 보안 영역에서는 그 오답이 잘못된 차단이나 위협 방치 같은 실제 대응으로 이어지고, 규제 환경에서는 감사와 책임 문제로 확대된다는 점에서 결과의 영향이 다릅니다.
Q. 탐지설명성(XAI)이 없는 보안 AI는 실제로 문제가 되나요?
판단 근거가 확인되지 않으면 운영자는 경보를 그대로 수용하거나 전체를 무시하는 양극단으로 나뉘고, 두 경우 모두 오탐이 누적되고 대응 품질이 낮아집니다. 판단 과정을 확인할 수 있어야 경보의 수용과 기각을 근거에 따라 판별합니다.
Q. 도입 전에 환각 가능성을 어떻게 검증하나요?
PoC 단계에서 경보의 판단 근거 제시, 이탈 세션의 원본 복원, 참조 불가 구간의 명시를 직접 시연으로 요청하는 것이 가장 실질적입니다. 기능 목록이나 커버리지 수치만으로는 판단 시점의 참조 구조를 확인하기 어렵습니다.
