NDR 정의와 탐지 대상
NDR은 네트워크 트래픽을 지속적으로 분석해 비정상 행위를 탐지하고 대응하는 보안 솔루션 영역입니다. 원본 패킷과 메타데이터를 대상으로 행위 분석을 수행하며, 외부 통신뿐 아니라 내부 시스템 간 통신까지 모니터링합니다.
EDR(Endpoint Detection and Response)이 에이전트가 설치된 단말 내부의 행위를 탐지하고, 로그 기반 SIEM(Security Information and Event Management)이 각 시스템의 로그를 수집해 상관분석한다면, NDR은 두 계층이 관측하지 못하는 영역을 담당합니다. 에이전트를 설치할 수 없는 장비, 정상 계정으로 이루어지는 내부 횡적 이동(Lateral Movement), 로그가 생성되지 않는 통신이 NDR의 탐지 대상입니다.
NDR 도입이 확대된 배경은 탐지룰 기반 탐지의 한계입니다. 알려진 공격 패턴과 비교하는 방식은 정상 도구를 악용하는 공격이나 처음 관측되는 공격 흐름을 탐지하지 못하며, NDR은 이 공백을 행위 분석으로 보완합니다.
행위 분석은 정상 행위의 기준선을 먼저 학습해야 이상 행위를 식별할 수 있습니다. 학습된 기준선이 없으면 정상 범위 내의 변동에도 경보가 발생하며, 도입 직후 오탐이 많은 원인입니다.
커버리지 확대와 최적화의 시차
오탐 자체는 탐지 운영의 오래된 과제이며, 최근 조사에서는 그 부담이 오히려 증가한 것으로 확인됩니다. 2025년 조사에서 응답자의 73%가 탐지의 과제로 오탐을 선택했고(복수 응답), 이 비율은 전년 64%에서 상승했습니다(SANS 2025 Detection and Response Survey 기준). 오탐을 자주 또는 매우 자주 경험한다는 응답도 60%를 넘었습니다(같은 조사 기준). 보고서는 탐지 커버리지가 확대된 속도에 최적화와 정확도가 미치지 못한 것으로 해석합니다.
NDR 도입 현장에서도 같은 양상이 나타납니다. 기본 탐지룰을 활성화하고 초기 임계값을 그대로 둔 채 운영을 시작하면, 판단 근거는 경보와 로그로 한정됩니다. 경보와 로그는 발생 상태만 보여줄 뿐, 기준선 대비 편차와 전송 내용, 위협 판정 근거는 담지 않습니다. 이 상태에서 임계값만 상향 또는 하향 조정하면 오탐의 근본 원인은 해결되지 않고 경보 건수만 일시적으로 변동합니다.
오탐 원인 4개 유형과 유형별 조치
도입 직후의 오탐은 [표 1]의 4개 유형으로 나뉩니다. 유형마다 조치가 다르므로, 최적화에 앞서 운영 환경의 주요 발생 유형을 먼저 확인해야 합니다.
4개 유형 모두 경보와 로그로는 오탐 여부를 판별할 수 없습니다. 원인 유형의 진단에는 경보와 로그 이외의 데이터가 필요합니다.
업계 동향: 3가지 흐름의 선후 관계
앞서 인용한 2025년 조사에는 경보와 로그 이외의 데이터 확보와 직결되는 3가지 흐름이 함께 나타납니다. 행위 기반 분석 도구는 효과적 47%, 매우 효과적 20%, 효과적이지 않음 13%로 평가됐습니다(SANS 2025 Detection and Response Survey 기준). 탐지 커버리지를 점검하는 조직 가운데 MITRE ATT&CK를 기준으로 삼는 비율은 78%로 전년 74%에서 상승했고, 위협 탐지에 머신러닝을 활용하는 조직은 53%였습니다(같은 조사 기준). 행위 분석으로의 이동, ATT&CK 기준의 커버리지 점검, 머신러닝 기반 탐지의 확대가 그 3가지 흐름입니다.
3가지 흐름은 독립된 선택지가 아닌 선후 관계입니다. 행위 분석은 기준선이 있어야 동작하고, 커버리지 점검은 정오탐 판정 기록이 있어야 탐지 공백을 식별할 수 있으며, 머신러닝 기반 탐지와 자동 경보 분류는 판정 이력이 축적되어 신뢰도가 확보된 뒤에 활성화할 수 있습니다. NDR 탐지 정책 최적화는 [그림 1]과 같이 행위기준선 수립, 원본 기준 정오탐 판정과 탐지룰 최적화, 자동 경보 분류의 순서로 진행합니다. 앞 단계의 산출물이 다음 단계의 입력이 되므로, 한 단계를 생략하면 다음 단계는 조정할 근거가 부족해집니다.
1단계, 행위기준선 수립: 이상 판정의 기준 확보
[그림 1]의 첫 단계가 기준선인 것은 정상 행위 패턴이 학습되지 않은 상태에서는 임계값을 조정하거나 탐지룰을 추가해도 오탐이 감소하지 않기 때문입니다. 정상 상태가 정의되지 않으면 이상 행위도 정의되지 않습니다.
행위기준선은 시간대별 활동 이력과 자산별 정상 패턴을 학습해 수립하며, 행위 분석은 이 기준선과 대비해 주요 프로토콜의 비정상 통신과 대용량 업로드, 세션 급증 같은 이상 징후를 탐지합니다. 학습 기간은 환경마다 다르므로 단일 기간을 제시하지 않으나, 주간 업무 주기와 월말 마감 같은 반복 패턴이 최소 한 번 이상 학습 범위에 포함되어야 기준선이 그 패턴을 정상으로 인식합니다.
이 단계에서 허용 목록 등록과 구성 변경 시 갱신 절차까지 수립하면 [표 1]의 4개 유형 중 행위기준선 미학습, 정상 업무 트래픽 미등록, 환경 변화 미반영의 3개 유형을 조치할 수 있습니다. 나머지 한 유형인 탐지룰 민감도 과다 설정은 원본 트랜잭션/세션을 확인해야 조정할 수 있습니다.
2단계, 원본 기준 정오탐 판정: 탐지룰 최적화의 근거
탐지룰 민감도 조정, 즉 임계값을 어느 수준까지 상향할지는 경보 건수 집계만으로는 판단할 수 없습니다. 감소한 경보가 실제 오탐이었는지 판별해야 하며, 그 판정에는 경보 발생 시점 통신의 원본이 필요합니다. 로그와 메타데이터는 대용량 전송이 있었다는 사실까지만 기록하고, 전송 파일과 전송 경로, 목적지는 원본 트랜잭션/세션을 복원해야 확인됩니다. 수집 구간 트래픽을 풀패킷으로 저장하는 구조에서 원본은 정오탐 판정의 확정적 증거(definitive evidence)가 되며, 동일 오탐의 재발을 예방하는 근거로 활용됩니다.
정오탐 판정이 축적되면 탐지룰을 최적화합니다. 커버리지 점검 기준은 MITRE ATT&CK로 수렴하고 있으며, 활용 절차는 다음 4개 항목입니다.
- 커버리지 매핑: 현재 탐지룰을 ATT&CK 전술과 기법에 매핑해 탐지 공백을 식별합니다.
- 우선순위 선정: 심각도, 업무 영향, 악용 가능성을 기준으로 먼저 보강할 전술을 결정합니다.
- 행위 기반 탐지룰 보강: 탐지룰 의존도를 낮추고 행위 패턴 중심의 탐지룰을 추가합니다.
- 원본 검증과 반복: 새 탐지룰이 생성한 경보를 원본으로 판정하고, 오탐이 확인되면 탐지룰을 다시 조정합니다.
커버리지 매핑은 탐지 공백을 식별하는 도구이며 탐지 역량 자체를 평가하는 지표는 아니므로, 탐지룰을 우회하는 공격을 맥락 기반으로 탐지하는지는 별도로 검증해야 합니다.
정상 도구를 악용하는 공격(Living off the Land)은 탐지룰 기반 탐지의 한계가 가장 명확한 영역입니다. 운영체제의 관리 도구로 이루어지는 공격은 탐지룰로는 정상 관리 작업과 구분되지 않으며, 행위기준선 대비 이상 여부와 원본 세션 내용을 함께 확인해야 악용 여부를 판별할 수 있습니다. 2단계에서는 1단계에서 수립한 행위기준선에 원본 트랜잭션/세션이 더해져 두 계층이 처음 함께 사용됩니다.
3단계, 자동 경보 분류: 자율 범위의 단계적 확대
정오탐 판정 데이터가 축적되면 경보 분류(Triage)를 자동화할 조건이 충족됩니다. 우선순위가 낮은 경보를 자동으로 분류하고 위협 점수를 산정하면 분석가는 고위험 경보에 집중할 수 있습니다. 실무의 논점은 자동 분류의 활성화 여부보다 그 결과를 어느 범위까지 신뢰할 것인가입니다.
그 신뢰의 근거는 탐지설명성(XAI)에서 확보됩니다. 판정에 기여한 특성과 위협 점수 산정 경로가 기록되어 있어야 분석가는 자동 분류의 결과를 검증하고 오탐을 식별할 수 있습니다. 판단 과정이 확인되지 않는 자동 분류는 오탐이 발생해도 원인을 수정할 수 없어 앞 두 단계의 최적화 효과를 상쇄합니다.
판단 과정이 확인되면 대응 자동화 범위를 검토하며, 대응 자동화는 경보 분류보다 한 단계 뒤에 배치합니다. 오탐 한 건이 정상 업무를 중단시킬 수 있는 격리와 차단에서는 AI가 제안하되 실행 승인은 분석가가 담당하는 반자율 구조가 적합합니다. 오탐 가능성이 극히 낮고 부작용이 제한적인 시나리오부터 자율 범위를 확대하고, 판정 정확도가 운영 데이터로 입증되면 해당 시나리오의 자율화 단계를 상향합니다.
최적화 성과는 평균 탐지 시간(MTTD)과 평균 대응 시간(MTTR), 경보 중 오탐 비율, 수동 분석 비중으로 측정합니다. 다만 성과 측정 자체는 아직 보편화되지 않았습니다. MTTD를 측정하는 조직은 56%로 전년 52%에서 증가했으나 탐지와 대응 지표를 업계 표준과 정기적으로 비교하는 조직은 17%로 전년 23%에서 감소했습니다(SANS 2025 Detection and Response Survey 기준). 개선 폭은 입력 데이터와 운영 환경에 따라 다르므로 단일 수치로 제시하지 않으며, 4개 지표는 최적화 단계마다 같은 기준으로 측정해 추세로 비교합니다.
최적화 순서와 3계층 맥락데이터의 입력 순서
최적화 순서를 정하는 조건은 공격 속도입니다. 금전 목적 공격(eCrime)에서 최초 침투 후 횡적 이동을 시작하기까지 걸리는 평균 시간은 2025년 기준 29분입니다(CrowdStrike Global Threat Report 2026 기준). 분석가가 경보를 개별 확인하는 운영으로는 이 속도에 대응하기 어려우며, 탐지에서 분석, 판단, 대응으로 이어지는 자율보안운영(Autonomous Security Operations)이 필요해집니다. 자율 판단에는 근거가 필요하며, 경보와 로그에만 의존해 자동 분류를 실행하면 추정을 자동화하는 데 그칩니다.
이 근거를 순서대로 확보하는 과정이 탐지 정책 최적화의 3단계입니다. 1단계의 행위기준선이 이상 여부를 정상 대비 수치로 제공하고, 2단계의 원본 트랜잭션/세션이 이상 세션의 실제 내용을 확정하며, 3단계의 탐지설명성(XAI)이 자동 분류의 판단 과정을 검증합니다. 각 맥락데이터는 각각의 역할로 분류 근거를 제공하며, 세 가지가 함께 입력될 때 경보 분류 자동화의 신뢰성이 더욱 높아집니다.
최적화 순서를 지키는 것은 자율 판단에 필요한 입력 데이터를 순서대로 완성하는 과정이며, 그 입력이 온전할수록 자율보안운영의 판정 신뢰성도 높아집니다.
최적화 성숙도 자가 진단 체크리스트
조직의 현재 단계는 [표 2]의 9개 항목을 하나씩 충족 여부로 판정해 진단하며, 충족하지 못한 항목이 있는 가장 앞 단계가 최적화 착수 지점입니다.
9개 항목은 3단계의 산출물과 일치하므로, 충족하지 못한 항목이 곧 다음 최적화에서 확보할 입력입니다.
자주 묻는 질문
분석가의 경보 피로를 줄이려면 어떤 최적화가 먼저인가요?
자동 경보 분류보다 행위기준선 수립이 먼저입니다. 기준선이 없는 상태에서 자동 분류를 활성화하면 오탐이 그대로 분류되어 분석가가 다시 확인해야 하며, 기준선과 원본 기준 정오탐 판정이 축적된 뒤에 활성화해야 우선순위가 낮은 경보가 자동 분류에서 제외됩니다.
네트워크 구성이 자주 바뀌는 환경에서는 기준선을 어떻게 유지하나요?
구성 변경 절차에 기준선 갱신을 포함해야 합니다. 신규 시스템 도입이나 대역 변경 시 해당 구간을 다시 학습하고 허용 목록을 갱신하며, 변경 이력을 남기면 이후 오탐의 원인이 기준선인지 탐지룰인지 구분할 수 있습니다.
