보안 AI 환각이란: 자신 있게 틀리는 판단
챗봇이 있지도 않은 논문을 그럴듯하게 지어내는 현상은 이제 널리 알려져 있습니다. 보안 AI에서도 같은 일이 벌어집니다. 현상을 요약한 데이터만으로 판단해야 하는 상황에서 AI는 사실과 다른 결론을 자신 있게 내놓습니다. 원리는 같지만 결과의 무게가 다릅니다. 일반 영역의 환각은 틀린 답변으로 끝납니다. 보안 영역의 환각은 정상 통신을 위협으로 판정하는 오탐이나 실제 위협을 정상으로 넘기는 오판이 되어 대응 실패로 곧장 이어집니다.
원인은 판단 근거의 공백입니다. 로그와 경보는 무슨 일이 일어났는지를 기록할 뿐, 그 일이 왜 벌어졌고 실제 통신 내용이 무엇이었는지는 담지 않습니다. AI가 이 공백을 채우는 방법은 추정뿐입니다. 추정은 그럴듯할수록 오히려 위험합니다. 결과만 보아서는 근거 있는 판단과 구별되지 않기 때문입니다.
이 글은 환각이 만들어내는 운영 비용을 먼저 짚은 뒤, 환각을 모델 교체가 아니라 참조 구조의 설계로 줄이는 방법과 도입 검토 단계에서 이를 검증하는 질문을 순서대로 다룹니다.
환각이 남기는 운영 비용: 악순환과 양극단
환각의 비용은 틀린 판단 한 건으로 끝나지 않습니다. 오탐이 쌓이면 분석가는 올라오는 경보를 하나하나 수동으로 다시 확인해야 합니다. 검증 피로가 커질수록 경보 전체에 대한 주의가 무뎌지고, 그 틈에 실제 위협을 놓칩니다. 오탐이 오탐을 부르는 악순환입니다.
판단 근거가 보이지 않을 때 운영자의 행동은 두 극단으로 갈립니다. AI 경보를 그대로 받아 잘못된 차단과 격리를 실행하거나, 믿을 수 없다며 경보를 통째로 무시합니다. 어느 쪽이든 AI를 도입한 의미가 사라집니다. 앞은 오판을 자동으로 실행하는 구조이고, 뒤는 값비싼 경보 생성기를 돌리는 셈입니다.
규제 산업에서는 이 비용이 운영을 넘어 제도 영역으로 번집니다. 금융, 의료, 공공 환경에서 근거를 대지 못하는 AI 판단은 감사 대응 실패와 법적 노출로 이어질 수 있고, 오판에 기반한 조치나 신고는 그 자체로 책임 문제가 됩니다.
제도가 요구하는 것은 관할이 달라도 겹칩니다. 국내는 개인정보의 안전성 확보조치 기준이 개인정보처리시스템 접속기록을 1년 이상, 정보주체 5만 명 이상이거나 고유식별정보와 민감정보를 처리하면 2년 이상 보관하도록 합니다. 미국 NYDFS 23 NYCRR Part 500은 사고 탐지와 대응에 쓰는 감사증적을 3년 이상 남기게 하고, EU의 디지털 운영 복원력 법(DORA)은 2025년 1월 17일 적용 이후 보안 아키텍처가 규제 요건을 충족하는지 스스로 점검하게 합니다. 판단의 정확도만이 아니라 판단의 근거를 제시할 수 있는지가 도입 요건이 되는 배경입니다.
보안 AI의 RAG: 환각을 구조로 줄이는 입력 설계
일반 AI 영역에서 환각을 줄이는 대표적인 방법은 검색 증강 생성(RAG)입니다. 모델이 학습된 기억만으로 답하게 두지 않고, 답변 시점에 외부 자료를 검색해 참조하게 하는 구조입니다. 환각을 모델 교체가 아니라 참조 구조의 설계로 줄인다는 점이 핵심입니다.
보안 AI에서 이 참조 구조에 해당하는 것이 맥락데이터입니다. AI가 경보 요약만 보고 판단하게 두지 않고, 판단 시점에 원본 트랜잭션/세션으로 실제 통신 내용을 확인하게 하고 행위기준선으로 평소 대비 이탈 정도를 참조하게 하는 것입니다. 여기에 탐지설명성(XAI)이 어떤 근거로 그 판단에 이르렀는지 경로를 남기면, 운영자는 일반 AI의 답변에서 참조 문서를 확인하듯 AI 판단의 근거를 확인할 수 있습니다.
각 계층의 구조 자체는 새로운 것이 아닙니다. 환각의 관점에서 보면 조건이 분명해집니다. 세 계층은 저장해 두는 데이터가 아니라 판단 시점에 참조되는 데이터여야 합니다. 경쟁력의 본질은 우수한 AI가 아니라 완전한 맥락데이터의 확보입니다.
계층이 결합될 때: 오탐이 판별되는 방식
참조 구조의 효과는 계층이 결합될 때 나타납니다. 행위기준선이 평소와 다른 세션을 포착하면, 그 세션의 원본을 풀패킷에서 복원해 실제 내용을 확인합니다. 이 결합이 있으면 이탈 세션이 실제 위협인지 정상 업무 패턴의 일시적 변화인지가 추정이 아니라 확인으로 갈립니다. 오탐은 번지기 전에 걸러집니다.
실제 위협으로 확인된 경우에도 결합의 이득은 이어집니다. 원본이 남아 있으면 유입 경로, 실행 과정, 외부 통신, 유출 여부까지 하나의 사건 흐름으로 재구성할 수 있습니다. 조사가 로그 사이를 오가는 추정 작업이 아니라 원본을 따라가는 확인 작업이 됩니다. 판단 경로가 탐지설명성으로 남아 있으므로 사후 검증과 감사 대응에도 같은 근거를 씁니다.
환경 조건: 폐쇄망과 클라우드
참조 구조는 데이터가 어디에 있는지에 따라 설계가 달라집니다. 폐쇄망 환경에서는 원본이 밖으로 나가지 않는 구조가 오히려 유리하게 작동합니다. AI가 내부에 보존된 원본만 참조해 판단하면 외부 데이터 의존에서 오는 오염 가능성과 민감 데이터 유출 위험이 함께 줄어듭니다. 환각 억제와 데이터 보호가 같은 구조에서 달성됩니다.
클라우드 환경에서는 반대로 원본 확보 자체가 검토 대상입니다. 가상 네트워크의 트래픽 미러링은 서비스별 지원 범위와 처리 용량에 제약이 있어, 온프레미스와 같은 수준의 전수 수집이 가능한지부터 확인해야 합니다. 미러링 구간에서 손실이 나면 그 구간은 AI가 참조할 수 없는 영역이 되고, 참조할 수 없는 영역에서의 판단은 다시 추정으로 돌아갑니다.
PoC에서 환각 가능성을 검증하는 질문
도입 검토 단계에서 환각 가능성은 기능 목록이 아니라 시연으로 확인해야 합니다. 세 가지 질문이 유효합니다.
- 같은 경보의 근거를 보여줄 수 있는가: 발생한 경보 하나를 골라 AI가 어떤 특성과 데이터에 근거해 판단했는지 그 자리에서 제시하도록 요청합니다. 근거를 제시하지 못하면 운영 단계에서 양극단 행동이 반복됩니다.
- 이탈 세션의 원본을 복원할 수 있는가: 행위기준선이 포착한 세션을 원본 수준으로 복원해 오탐 여부를 가리는 과정을 시연하도록 요청합니다. 복원하지 못하면 오탐 판별은 여전히 수동 추정에 머뭅니다.
- 참조할 수 없는 영역이 어디인가: 수집 방식과 환경 제약으로 AI가 참조하지 못하는 구간을 명시해 달라고 요청합니다. 명시되지 않은 공백은 운영 중에 추정으로 채워집니다.
세 질문의 공통점은 모델의 성능을 묻지 않는다는 것입니다. 환각은 모델을 바꿔서 줄어드는 것이 아니라 AI가 판단 시점에 무엇을 참조하는지를 바꿔야 줄어듭니다. 도입 검토의 초점도 참조 구조의 완전성에 맞춰져야 합니다. 이 완전성이 확보될 때, 탐지에서 분석, 판단, 대응으로 이어지는 자율보안운영(Autonomous Security Operations)도 신뢰할 수 있는 전제 위에서 출발합니다.
자주 묻는 질문
Q. 보안 AI 환각은 일반 AI 환각과 무엇이 다른가요?
원리는 같습니다. 참조할 근거 없이 판단하면 그럴듯한 오답이 나옵니다. 보안 영역에서는 그 오답이 잘못된 차단이나 위협 방치 같은 실제 대응으로 이어지고, 규제 환경에서는 감사와 책임 문제로 번진다는 점에서 결과의 무게가 다릅니다.
Q. 탐지설명성(XAI)이 없는 보안 AI는 실제로 문제가 되나요?
판단 근거가 보이지 않으면 운영자는 경보를 그대로 받거나 통째로 무시하는 양극단으로 갈리고, 두 경우 모두 오탐 누적과 대응 품질 저하로 이어집니다. 판단 경로를 확인할 수 있어야 경보의 수용과 기각을 근거 있게 가릅니다.
Q. 도입 전에 환각 가능성을 어떻게 검증하나요?
PoC 단계에서 경보의 판단 근거 제시, 이탈 세션의 원본 복원, 참조 불가 구간의 명시를 직접 시연으로 요청하는 것이 가장 실질적입니다. 기능 목록이나 커버리지 수치는 판단 시점의 참조 구조를 보여주지 못합니다.
