1. AI시스템 개요
- AI시스템은 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 달성하기 위해 AI모델이 학습하는 데이터 및 인프라를 활용하여,
사용자에게 예측, 추천, 결정 등의 결과물을 추론하여 제공하는 시스템이다.
• AI시스템 구성요소 및 정의
- AI모델: 주어진 입력데이터로부터 통계적, 계산적, 혹은 기계학습 기법 등을 활용하여 예측, 분류, 생성 등을 수행하는 시스템 구성요소
- AI 학습데이터: AI모델이 입·출력 관계 혹은 특정 패턴을 학습하도록 제공하는 텍스트, 음성, 이미지 등을 포함한 데이터셋
- AI 인프라: AI모델의 개발·학습· 론을 가능하게 하는 NPU, GPU 등 컴퓨팅 자원, 네트워크 및 관련 소프트웨어
2. AI시스템 보안위협
• T01: 학습데이터 오염
- 정의: 공격자가 AI시스템의 학습 또는 추론에 사용되는 데이터(RAG 벡터 DB 등 외부 참조데이터 포함) 일부를 악의적으로 변조·삽입·주입,
오염된 AI모델을 생성하여 성능 저하·편향·오판·의도적 동작을 유도하는 공격
- 위협: 오염된 AI모델을 탑재한 제어·의료시스템 등이 오동작하여, 물리적 환경에 영향을 미치거나 잘못된 정보를 표출
• T02: 비인가 민감정보 학습
- 정의: AI모델의 활용 목적에 맞지 않는 민감 · 비공개 정보를 학습
- 위협: A I시스템이 기관의 내부 비공개 행정자료 등을 학습하여 비인가자에게 제공하는 등 민감정보 유출
• T03: AI 백도업 삽입
- 정의: 공격자가 특정 조건을 만족할 경우 의도된 동작을 수행토록 하는 ‘AI 백도어’를 AI모델·학습데이터 및 라이브러리 등에 삽입하여 배포,
AI시스템에 은닉
- 위협: AI시스템이 평상시에는 정상 동작하나, 시기·입력내용 등 특정 조건을 만족하면 오동작·정보유출 등 악성행위 수행
• T04: 학습데이터 추출
- 정의: 공격자가 AI시스템에 반복된 질의 등을 통한 결과로 학습된 데이터를 추출하여 일부 또는 전체를 재구성
- 위협: 학습데이터에 포함되어 있는 기관의 민감정보가 추출
• T05: 학습데이터 비인가자 접근
- 정의: 학습데이터 혹은 RAG로 구성한 벡터DB에 대한 접근권한 통제 미흡으로 인해 AI시스템이 비인가자에게 정보제공
- 위협: AI모델 학습데이터 또는 AI시스템 입력에 포함된 민감정보가 비인가 내부 구성원 혹은 외부인원에게 노출
• T06: AI모델 추출
- 정의: 공격자가 AI시스템의 출력을 역공학하여 AI모델 구조나 가중치(weight) 등을 추출하는 공격
- 위협: 공격자가 AI모델을 복제·분석하여, 원본 AI모델을 탑재한 AI시스템이 오동작 또는 잘못된 결과를 생성하게 악용
• T07: 민감정보 입력·유출
- 정의: 사용자가 AI시스템에 프롬프트, 파일 업로드 등을 통해서 민감정보를 입력, AI시스템이 이를 학습하고
비인가자에게 유출
- 위협: AI시스템이 입력된 민감정보를 학습하여 다른 비인가자에게 답변으로 제공하는 등 AI시스템이
보유하고 있는 개인정보 혹은 비공개 문서 등이 외부에 유출
• T08: 프롬프트 인젝션
- 정의: 공격자가 AI시스템에 악의적인 지시를 직·간접 프롬프트로 주입하여, AI시스템의 출력·동작 등을 변경
- 위협: AI시스템이 내부지침 등 가드레일을 무시하는 AI 탈옥 공격 등을 통해, 해킹코드를 생성하고 악의적인
명령을 실행하거나 민감정보를 유출하는 등 공격자가 의도하는 악성행위를 수행
• T09: 회피 공격
- 정의: 공격자가 적대적 예제(Adversarial examples) 생성을 통해 AI모델의 잘못된 예측을 유도하는 공격
(Evasion attack)
- 위협: 공격자가 AI시스템의 판단을 방해하는 이미지를 악용하여 안면인식 출입차단을 우회하고 통제장소에 출입하거나, 메일에 특정값을
삽입하여 필터를 통과하고 악성코드 유포
• T10: 통신구간 공격
- 정의: 사용자-AI시스템간 통신구간을 공격, 패킷을 가로채 정보를 획득하거나 인증키 등을 탈취
- 위협: 사용자의 입력 혹은 AI시스템이 출력하는 민감정보가 외부 유출되거나, 비인가자가 인증키를 도용하여 AI시스템 접근
• T11: 서비스 거부 공격
- 정의: 공격자가 AI시스템에 과도한 수량의 프롬프트를 입력하거나 악의적인 프롬프트를 입력하여 시스템 과부하 유발
- 위협: AI시스템의 자원 고갈로 응답 지연 혹은 운영 중단되거나 과도한 사용금액 부과
• T12: 사고·이상행위 모니터링 체계 부재
- 정의: 사용자-AI시스템간 입·출력 및 사용이력 등에 대한 로그를 남기지 않고, 실시간 모니터링을 하지 않아 사고·이상행위 발생 시 탐지 불가
- 위협: AI시스템 대상 공격·사고가 발생하더라도 인지가 불가능, AI시스템이 보유한 민감정보 유출 등 사고·장애 발생
• T13: AI시스템 권한관리 부실
- 정의: AI시스템에 과도한 권한을 부여하여 AI시스템이 사용자의 의사결정 없이 임의로 다른 시스템을 제어 혹은 데이터를 수정하거나,
운영 목적을 벗어나 예기치 않게 동작하며 사용자가 즉시 제어 혹은 중단할 수 없는 상황 발생
- 위협: AI시스템이 전력·교통·정수 등 주요 제어시스템을 임의로 조작하여 정전·교통사고·식수오염 등 피해가 발생하거나, 민감정보 삭제 혹은
개인정보 임의전송 등 악성행위 수행
• T14: 공급망 공격
- 정의: AI시스템을 구성하는 AI모델, 학습데이터, 라이브러리 등에 취약점이 존재하거나 악성코드가 삽입되어 공급·배포
- 위협: 공격자가 AI시스템의 취약점 등을 악용하여 민감정보 유출, 시스템 권한탈취, 오동작을 유발
• T15: 용역업체 보안관리 부실
- 정의: AI시스템 구축·운영 등을 위탁한 용역업체 보안관리 부실
- 위협: 용역업체를 통해 AI모델·학습데이터가 외부로 유출되거나, 오염되어 AI시스템이 오동작 또는 잘못된 결과를 생성
3. 보안위협별 주요 사례
4. AI시스템 보안위협별 보안대책
• M01 신뢰할 수 있는 출처의 데이터 활용: AI모델 학습·재학습·평가가 필요한 경우, 데이터 배포처(플랫폼)와
배포자(제공 주체)의 신뢰성을 함께 검증하여 신뢰할 수 있는 출처의 데이터를 활용
- 데이터 공급자가 공식 인증기관, 정부, 공공데이터 포털 등 신원 확인이 가능한 주체인지 확인
- 데이터 공급자의 공식 사이트, 계약을 통한 구매, 기관 내부의 검증된 데이터 등 신뢰 가능한 출처의 데이터만 사용
- 배포자 정보(배포자명, 이메일 주소, 도메인, 발급된 인증서 등)를 검색·비교하여 신뢰 가능한 배포자인지 확인
- 데이터 공급자나 저장소에 대해 인증서 기반으로 신원검증 혹은 전자서명 검증 등을 수행하고 사용
• M02 신뢰할 수 있는 출처의 AI모델·라이브러리 활용: 오픈소스 AI모델·라이브러리 등이 필요한 경우, 배포 경로와 배포자를 함께
검증하여 신뢰할 수 있는 출처에서 획득하여 활용
- 오픈소스 AI모델·라이브러리·소프트웨어 등은 공식 사이트 등 신뢰성을 보장할 수 있는 출처를 통해서만 사용
- 사용 전 배포자 전자서명과 해시값 검증 등을 통해 무결성을 검증하고, 필요 시 개발·운영 환경과 분리된 샌드박스 등 별도 환경에서
안전성을 확인하여 사용
• M03 데이터 검사: 데이터의 악의적인 변조 또는 비인가 민감정보 포함 여부 등을 검증하고, 데이터 수집·전송·저장·학습 전 과정에 걸쳐
무결성 검증 체계를 운영
- 데이터 분류·정제 등 전처리 단계에서 정규식(Regex) 기반 탐지 혹은 개인·민감정보 필터링 엔진 등을 활용하여 식별·차단
- 수집한 데이터에 악성코드·AI 백도어 포함여부 등을 검사하고 차단·제거
- 데이터셋의 유형 · 형식 · 범위 등에 대한 스키마 검증, 비정상 값·패턴에 대한 이상치 탐지 과정을 통해 변조나 비정상 데이터 삽입을 검출
- 원본 데이터 파일에 무결성 보호를 위한 메타데이터(작성자, 생성시각, 해시값, 서명자 등)를 부여하고, 버전 및 변경이력 로그 관리
• M04 데이터 암호화: 원시·학습데이터의 외부 유출 및 오염 방지를 위해 암호화를 권고하나, 공개등급 데이터는 암호화 대상에서 제외
- 기밀이 포함되지 않은 원시·학습데이터 저장소는 국가정보원장이 개발하거나 안전성을 확인한 암호 알고리즘을 활용하여 암호화
* 기밀 포함 시 국가정보원장이 개발하거나 안전성을 확인한 암호자재 활용이 필요하며 사전 협의 필수
- 데이터 암호화에 사용한 암호키는 하드웨어 보안 모듈(HSM)5 또는 키 관리 서비스(KMS) 등을 통해 중앙 관리 가능
• M05 데이터 접근통제: 사용자, 데이터, 접근경로별 권한 부여를 통해 접근제어
- 사용자, 그룹, 데이터별로 최소 권한만 부여하고, 관리자 권한에 대해서는 다중 보안 인증 등을 활용
- 데이터 접근 요청 시 계정권한, IP, 네트워크 구간 등을 검사하여 접근통제에 활용
• M06 민감정보 사용 사전 승인: 민감정보 또는 비공개 정보가 포함된 데이터를 학습 · 재학습에 활용할 경우, 기관 내부 절차에 따라
사전 보고 및 승인
- 데이터를 업로드 또는 학습 과정에서 민감정보 필터링 등을 통해 자동 분류하고, 승인 절차로 자동 연동되거나 차단토록 구성
- 학습목적으로 가져온 외부 데이터에 운영하는 AI시스템의 보안등급 및 활용 목적에 부합하지 않는 민감정보가 포함될 수 있으므로
사전 확인 및 승인 과정 필요
- 승인된 데이터에는 전자서명 등을 활용하여 식별자를 부여하고, 식별자가 없는 데이터에 대해서는 학습 과정에서 자동 차단되도록 구성 가능
• M07 보안등급에 맞는 학습데이터 구성·활용: AI시스템의 활용목적 및 등급분류에 맞게 기밀·민감·공개등급의 학습데이터를 사용하고,
등급기준에서 벗어나 예외적으로 필요 시 비식별화 등 조치하여 사용
* 대민서비스용 AI시스템 등 외부에 노출되는 AI시스템의 경우 공개등급 데이터만 활용 등
- 데이터 등급분류를 토대로 접근제어를 적용하여, 기밀·민감등급 데이터는 격리된 저장소에서만 학습되도록 구성 가능
- 사용자 혹은 부서별로 학습데이터 접근권한을 세분화하여 관리하고, RAG 등 구성 시 권한별로 적합한 벡터DB를 참조하도록 구성하여
AI시스템의 답변을 통제
- 비식별화 도구를 사용하여 민감데이터에서 식별자를 제거하거나 노이즈 주입 시, 승인절차를 거쳐 제한적으로 학습에 활용
• M08 데이터 로깅·모니터링: 원시·학습데이터 등에 대한 접근·변경 행위 로그 기록 및 정기 분석
- 데이터 스토리지 시스템에 파일 접근 및 변경 이벤트를 수집하는 에이전트를 구성하고, 수집한 로그를 이벤트 관리(SIEM)7 서버로
전송하여 이상행위 분석
- 무결성 모니터링 도구 등을 활용하여 주기적으로 데이터의 해시값 변화를 점검하고, 비인가 변경에 대한 알람 및 접근 차단을 수행
• M09 AI시스템 로깅·모니터링: 사용자, 단말, 시스템 등에서 발생하는 AI 입 · 출력정보, 접근이력 등을 로그 기록하고 정기 분석
- AI시스템에 대한 사용자의 요청 · 응답 및 접속이력 등을 실시간 수집하여 로그로 기록하고, 정기적으로 분석하여 이상행위 탐지
- 모니터링을 통해 과도한 AI시스템 호출, 비정상 입력 프롬프트 패턴 등을 탐지하면 경보를 발생하고 비정상 행위 차단 등 대응
• M10 데이터 수집 명세서 관리: 수집한 데이터셋의 출처, 일자, 수집 방법 · 경로, 규모, 해시값 등을 기록하여 이력을 관리
- ‘데이터 카탈로그’를 구축하여 각 데이터셋에 대한 명세서를 자동 기록하고, 형상관리시스템 등과 연동하여 변경이력을 관리
- 데이터 수집 과정에서 고유 식별자(UUID) 및 해시값을 부여, 각 데이터셋마다 이력을 추적
• M11 AI시스템 구성요소 명세서 관리: AI모델, 학습데이터, 라이브러리 등 구성요소에 대한 출처, 버전, 변경이력, 해시값 등을
형상관리(Configuration management)
- 시스템 운영 중 파악되는 취약점은 명세서를 활용하여 취약한 구성요소를 식별, 소프트웨어 패치 및 모델 재학습 등 수행
- AI시스템에 구성요소를 활용하는 시점에 출처, 버전, 변경이력, 해시값, 서명자 등을 수집해 메타데이터로 저장·관리
* 향후 AIBOM9 등을 활용한 공급망 보안체계를 검토할 계획
• M12 AI시스템 구성요소 무결성 검증: AI모델, 학습데이터, 라이브러리 등 구성요소가 원본과 동일한지 검증
- AI모델, 학습데이터, 라이브러리 등에 대한 전자서명 및 해시값을 생성하고, 정기적으로 검증하여 위변조 탐지 시 차단 및 복원
• M13 입·출력 필터링: AI시스템의 입력 및 응답에 포함된 민감정보가 활용목적 및 기밀·민감·공개등급 분류에 부합하지 않는 경우를 탐지·차단
- AI시스템-사용자간에 AI-DLP10 등 입·출력데이터 필터링 솔루션 등을 활용하여 민감정보 혹은 금칙어·적대적 공격 문구 포함여부를
확인하고 통제 및 차단
- 정규식 혹은 단어기반의 민감정보 탐지가 아닌 문장 단위의 맥락 기반으로 이해하고 대응이 가능한 필터링 기능 활용을 권고
• M14 입력 길이·형식 제한: AI시스템에 입력되는 사용자 프롬프트의 길이·형식·반복도·복잡도를 제한하여 운영하고, 금칙어·공격패턴 등을
필터 혹은 사전 정의한 입력 템플릿 등을 통해 차단
- 공격용 프롬프트가 입력되지 않도록 과도하게 긴 입력, 공격 패턴 형식, 유사질의 반복 등을 시스템 사용 및 활용 목적에 맞게 제한
- 사전에 정의한 템플릿에 맞춰 입력하도록 하여 공격 프롬프트 주입을 차단하는 방식도 가능
• M15 가드레일 다중화: AI시스템 오작동, 유해한 입·출력, 민감정보 유출 등을 방지하기 위해 다수의 보호장치를 계층적 혹은 병렬적으로
배치하여 운영
- 사용자의 입력, AI모델 동작, 출력 결과 등 각 동작 단계별로 민감정보 필터링, 적대적 공격 방어, 서비스 거부 공격 대응, 응답 결과 변형 등을
수행할 수 있는 복수의 가드레일을 배치
* 동일 혹은 유사 입력에 대해 응답을 일정 수준으로 무작위 변형 등
- 민감정보 요청, 시스템 제어 의심 등 고위험 입·출력에 대해서는 자동 필터링하여 관리자가 검토하도록 구성
• M16 AI모델 구조·가중치 유출 방지: AI모델 구조·가중치 등 AI모델의 주요 정보가 유출되거나, 응답 과정에서 AI모델의 명칭, 버전, 확률값 등
세부 정보가 유출되지 않도록 조치
- AI모델의 주요 정보를 암호화하거나 접근권한 통제를 강화
- AI가 응답 시 유출되지 말아야 할 내부 정보(모델 명칭, 버전 등)에 대해 비공개 처리하는 등 민감한 정보가 유출되지 않도록 구성 등 조치
• M17 AI시스템 경계보안 강화: AI시스템을 타 정보통신시스템 등과 연계할 경우, 방화벽 등 정보보호제품을 활용하여 접근통제
- AI시스템 운영 및 관리를 위한 전용 네트워크를 구성
- AI시스템에 접근하는 대상 사용자·시스템 등을 식별하고, 방화벽·망연계장치 등 정보보호제품의 보안정책을 통해 접근통제
- DMZ·중계서버 등을 활용하여 사용자·시스템이 AI시스템에 직접 접근하지 못하도록 구성
- 내부망 전용 AI시스템일 경우, 인터넷 등 외부망과 연계되지 않도록 네트워크를 물리적·논리적으로 분리하여 운영
- 외부 데이터 반입 시 망연계시스템 등을 활용하고 악성코드 유입 검사 등을 수행하여 내부로 전송
• M18 AI시스템 통신구간 보호: 사용자와 AI시스템 혹은 AI시스템과 타 시스템 통신구간에 인증강화 및 암호화 등을 통한 보호조치
- VPN, TLS 등을 통해 통신구간을 암호화하여, 사용자-AI시스템 간 입·출력데이터 및 AI시스템 관련 정보의 외부 유출 방지
- 사용자-AI시스템 간 세션 유효기간을 지정하고, 정기적인 갱신을 통해 세션 탈취 위험 예방 필요
• M19 과도한 권한 부여 제한: AI시스템의 활용 목적에 따라 필요한 최소한의 권한만 부여하고, 접근 가능 시스템·데이터를 제한
- AI시스템의 목적에 맞지 않는 데이터 수정, 시스템 제어 등 불필요한 권한 부여를 제한
- 데이터 수정, 시스템 제어 등 민감한 작업에 대한 권한이 필요한 경우, 업무 수행에 필요한 최소한의 권한만 부여하고, 사람의 검토와
승인 절차 마련
- AI시스템에 의해 수행 가능한 제어영역과 제어값의 상·하한선 마련 등 안전 경계를 설정하여 과도한 제어·수정 권한을 통제
- AI시스템이 외부와 연계될 경우, 내부 제어시스템 등 중요 시스템 혹은 데이터를 임의로 조작할 수 없도록 권한 최소화
• M20 민감 명령 승인 절차 마련: AI시스템 운영 목적에 부합하더라도 중요 제어명령 혹은 데이터 수정 등 민감한 작업에 대해서는
반드시 사람이 개입하도록 설계
- 민감한 작업에 대해 담당자의 명령 검토 및 승인 절차를 마련
- AI시스템의 출력 결과가 실제 민감 작업으로 실행되기 전 샌드박스 등을 활용하여 결과를 시뮬레이션하고 승인하도록 구성도 가능
- 승인자 정보, 승인 절차, 승인한 내역 등을 로그로 기록하여 사고 발생 시 검증 가능하도록 관리
• M21 비상대응 체계 마련: AI시스템이 잘못된 동작을 할 경우 즉시 작업을 중단시킬 수 있도록 비상정지 기능 등을 마련
- AI시스템에 비상차단용 인터페이스를 구성하고 이상 신호를 탐지하거나, 관리자의 중단명령을 통해 프로세스, 네트워크 등 단위로
차단 가능하도록 설계
- 오작동 탐지 시 경보시스템을 통해 관리자에게 즉시 통보하고 로그 정보를 보존하여 사후 원인 분석이 가능하도록 구성
- AI시스템이 제어시스템 등 타 시스템의 자동화에 활용 중일 경우 이상행위 탐지 시 즉각적인 타 시스템의 수동운영 모드 전환 및 비상정지
등 대응절차 마련
• M22 설명가능한 AI 구성: AI의 추론·결정 과정 등을 관리자가 인지 가능한 형태로 필요한 정보를 제공할 수 있도록 구성 권고
- AI의 추론 과정을 해석 가능하도록 구성하거나, 사후 AI의 결과를 설명 혹은 판단 근거를 시각화 하는 등 결과 도출 과정을 이해할 수 있도록
설계하고 인터페이스를 제공
* 현재 완벽하게 설명 가능한 AI 구성에는 기술적 한계가 존재, 로깅 · 모니터링 병행 필수
• M23 AI모델 대상 적대적 모의공격 수행: AI모델에 의도적으로 무작위 공격값을 입력하여 숨겨진 트리거 반응이나 AI 탈옥 등 이상동작
발생여부 확인
- AI 탈옥을 위한 프롬프트 인젝션, 회피·교란 등 공격 유형별로 입력값을 자동 생성토록 하고, 입력에 따른 AI모델의 반응을 계량화하여
표출토록 구성·운영
* 신뢰할 수 있는 출처의 평가용 벤치마크 데이터셋을 활용하여 AI모델의 보안성을 정량적으로 측정하는 방법도 가능
- 확인한 취약요소에 대해서는 보완할 수 있도록 시스템 프롬프트 보강, 적대적 공격유형을 재학습시키는 등 강건성 확보 필요
• M24 AI모델에 적대적 공격유형 학습: AI 탈옥 시도 혹은 특정 패턴 입력을 통한 AI의 오작동 유도 등 공격유형을 지속적으로 확보 · 학습하여
보안성을 강화
- 평가용 벤치마크 등을 활용하여 다양한 공격 시나리오를 정기 모의수행하여 AI모델의 취약점을 파악하고, 유사 공격유형을 지속 학습시켜
취약점 개선
- 외부에 공개된 AI 탈옥용 프롬프트 혹은 노이즈를 첨가하여 가드레일을 회피하는 이미지 등 적대적 공격유형을 지속 확보하고 AI모델에 재학습
• M25 AI시스템 구성요소 취약점 점검 및 보안 업데이트: AI시스템을 구성하는 소프트웨어, 라이브러리, 네트워크 구조 등에 대한 취약점을
점검하고 보안패치
- AI시스템 구성요소에 대해 정기적으로 취약점을 점검·확인하고 보안 업데이트를 실시
- 보안 업데이트 과정에서 AI시스템의 오작동 등 발생 가능성에 대비, 실제 운영환경에서 발생 가능한 보안위협을 샌드박스·예비시스템 등을
활용하여 정적·동적 검증 후 업데이트 적용 권고
• M26 AI모델 복구: AI모델에서 민감정보 유출, 변조, 무단제어 등 이상행위 발생이 의심되는 경우, 즉시 운영을 중단하고 원본으로 복원하거나
재학습을 수행
- AI모델 배포 시점마다 서명정보와 해시값을 운영환경과 분리된 백업 저장소에 보관하고, 이상행위 탐지 시 보관된 정보를 이용하여 무결성
검증 수행
- 이상행위 탐지 시점에 즉시 백업된 모델을 복원할 수 있는 체계(스크립트, 파이프라인 구성 등) 마련
- 검증된 원본 학습데이터를 활용하여 AI모델을 재학습하여 복원 및 전환도 가능
• M27 요청 속도 제한: 공격자의 AI시스템 과부하 시도를 방지하기 위해 호출 횟수, 입력 길이, 동시 처리 요청수, 출력 용량 등을 제한
- 시스템, 사용자 등 서비스를 요청하는 주체별로 입력 길이, 요청수 등을 차등적으로 한도를 설정하여 자원 고갈 방지
- AI시스템 로깅·모니터링을 병행하여 반복적인 질의 발생으로 인한 리소스 과부하 여부를 확인하고 공격 의심 대상을 통제
• M28 AI시스템 구성요소 완전 삭제: AI시스템 폐기 시 재사용이 불가능하도록 AI모델·학습 데이터·벡터DB·로그 등 구성요소 전체를 완전 삭제
- AI모델, 학습데이터 등은 복구 불가하도록 완전삭제 소프트웨어를 이용하여 삭제
- 삭제 완료 이후 무작위 샘플링 검증이나 포렌식 도구 등을 활용하여 복구 불가 여부 확인 가능
- 민감등급 이상의 학습데이터가 저장된 저장소 등을 물리적으로 파기하는 것도 가능
• M29 용역업체 보안관리: 데이터 수집, AI 학습, AI시스템 구축 등 전 수명주기에 걸쳐 용역업체를 활용 시, 정기 보안점검 및 비인가 행위
발생여부 확인
- 정기적으로 용역업체의 보안 준수 여부를 점검, AI시스템 구성요소 관리, 오염데이터 유입차단 등 용역업체에 할당한 업무 보안강화
- 용역업체 계정에는 최소 권한으로 부여하고 불필요 시 즉시 회수
- 용역업체와 계약 시 보안요구사항을 명시하고 취약점 발견 시 통지 의무를 명시
• M30 사용자 교육 및 보안정책 수립: 기관 사용자가 AI시스템 활용 시 주의해야 할 보안수칙에 대해 안내·교육하고, 기관 내부 보안정책
수립하여 운영
- 외부 상용 AI서비스에 민감정보 입력 금지 등 필요한 보안정책을 수립하고 관련 경고 배너·알림 등을 표시
- AI시스템을 통한 보안위협과 대응 절차 등을 정기적으로 교육하여 보안인식을 제고
출처: 인터넷진흥원: Korea Internet & Security Ageny [KISA] AI 보안 위협 대응 메뉴얼
⭐발표자 : 오은택님
1. AI시스템 개요
- AI시스템은 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 달성하기 위해 AI모델이 학습하는 데이터 및 인프라를 활용하여,
사용자에게 예측, 추천, 결정 등의 결과물을 추론하여 제공하는 시스템이다.
• AI시스템 구성요소 및 정의
- AI모델: 주어진 입력데이터로부터 통계적, 계산적, 혹은 기계학습 기법 등을 활용하여 예측, 분류, 생성 등을 수행하는 시스템 구성요소
- AI 학습데이터: AI모델이 입·출력 관계 혹은 특정 패턴을 학습하도록 제공하는 텍스트, 음성, 이미지 등을 포함한 데이터셋
- AI 인프라: AI모델의 개발·학습· 론을 가능하게 하는 NPU, GPU 등 컴퓨팅 자원, 네트워크 및 관련 소프트웨어
2. AI시스템 보안위협
• T01: 학습데이터 오염
- 정의: 공격자가 AI시스템의 학습 또는 추론에 사용되는 데이터(RAG 벡터 DB 등 외부 참조데이터 포함) 일부를 악의적으로 변조·삽입·주입,
오염된 AI모델을 생성하여 성능 저하·편향·오판·의도적 동작을 유도하는 공격
- 위협: 오염된 AI모델을 탑재한 제어·의료시스템 등이 오동작하여, 물리적 환경에 영향을 미치거나 잘못된 정보를 표출
• T02: 비인가 민감정보 학습
- 정의: AI모델의 활용 목적에 맞지 않는 민감 · 비공개 정보를 학습
- 위협: A I시스템이 기관의 내부 비공개 행정자료 등을 학습하여 비인가자에게 제공하는 등 민감정보 유출
• T03: AI 백도업 삽입
- 정의: 공격자가 특정 조건을 만족할 경우 의도된 동작을 수행토록 하는 ‘AI 백도어’를 AI모델·학습데이터 및 라이브러리 등에 삽입하여 배포,
AI시스템에 은닉
- 위협: AI시스템이 평상시에는 정상 동작하나, 시기·입력내용 등 특정 조건을 만족하면 오동작·정보유출 등 악성행위 수행
• T04: 학습데이터 추출
- 정의: 공격자가 AI시스템에 반복된 질의 등을 통한 결과로 학습된 데이터를 추출하여 일부 또는 전체를 재구성
- 위협: 학습데이터에 포함되어 있는 기관의 민감정보가 추출
• T05: 학습데이터 비인가자 접근
- 정의: 학습데이터 혹은 RAG로 구성한 벡터DB에 대한 접근권한 통제 미흡으로 인해 AI시스템이 비인가자에게 정보제공
- 위협: AI모델 학습데이터 또는 AI시스템 입력에 포함된 민감정보가 비인가 내부 구성원 혹은 외부인원에게 노출
• T06: AI모델 추출
- 정의: 공격자가 AI시스템의 출력을 역공학하여 AI모델 구조나 가중치(weight) 등을 추출하는 공격
- 위협: 공격자가 AI모델을 복제·분석하여, 원본 AI모델을 탑재한 AI시스템이 오동작 또는 잘못된 결과를 생성하게 악용
• T07: 민감정보 입력·유출
- 정의: 사용자가 AI시스템에 프롬프트, 파일 업로드 등을 통해서 민감정보를 입력, AI시스템이 이를 학습하고
비인가자에게 유출
- 위협: AI시스템이 입력된 민감정보를 학습하여 다른 비인가자에게 답변으로 제공하는 등 AI시스템이
보유하고 있는 개인정보 혹은 비공개 문서 등이 외부에 유출
• T08: 프롬프트 인젝션
- 정의: 공격자가 AI시스템에 악의적인 지시를 직·간접 프롬프트로 주입하여, AI시스템의 출력·동작 등을 변경
- 위협: AI시스템이 내부지침 등 가드레일을 무시하는 AI 탈옥 공격 등을 통해, 해킹코드를 생성하고 악의적인
명령을 실행하거나 민감정보를 유출하는 등 공격자가 의도하는 악성행위를 수행
• T09: 회피 공격
- 정의: 공격자가 적대적 예제(Adversarial examples) 생성을 통해 AI모델의 잘못된 예측을 유도하는 공격
(Evasion attack)
- 위협: 공격자가 AI시스템의 판단을 방해하는 이미지를 악용하여 안면인식 출입차단을 우회하고 통제장소에 출입하거나, 메일에 특정값을
삽입하여 필터를 통과하고 악성코드 유포
• T10: 통신구간 공격
- 정의: 사용자-AI시스템간 통신구간을 공격, 패킷을 가로채 정보를 획득하거나 인증키 등을 탈취
- 위협: 사용자의 입력 혹은 AI시스템이 출력하는 민감정보가 외부 유출되거나, 비인가자가 인증키를 도용하여 AI시스템 접근
• T11: 서비스 거부 공격
- 정의: 공격자가 AI시스템에 과도한 수량의 프롬프트를 입력하거나 악의적인 프롬프트를 입력하여 시스템 과부하 유발
- 위협: AI시스템의 자원 고갈로 응답 지연 혹은 운영 중단되거나 과도한 사용금액 부과
• T12: 사고·이상행위 모니터링 체계 부재
- 정의: 사용자-AI시스템간 입·출력 및 사용이력 등에 대한 로그를 남기지 않고, 실시간 모니터링을 하지 않아 사고·이상행위 발생 시 탐지 불가
- 위협: AI시스템 대상 공격·사고가 발생하더라도 인지가 불가능, AI시스템이 보유한 민감정보 유출 등 사고·장애 발생
• T13: AI시스템 권한관리 부실
- 정의: AI시스템에 과도한 권한을 부여하여 AI시스템이 사용자의 의사결정 없이 임의로 다른 시스템을 제어 혹은 데이터를 수정하거나,
운영 목적을 벗어나 예기치 않게 동작하며 사용자가 즉시 제어 혹은 중단할 수 없는 상황 발생
- 위협: AI시스템이 전력·교통·정수 등 주요 제어시스템을 임의로 조작하여 정전·교통사고·식수오염 등 피해가 발생하거나, 민감정보 삭제 혹은
개인정보 임의전송 등 악성행위 수행
• T14: 공급망 공격
- 정의: AI시스템을 구성하는 AI모델, 학습데이터, 라이브러리 등에 취약점이 존재하거나 악성코드가 삽입되어 공급·배포
- 위협: 공격자가 AI시스템의 취약점 등을 악용하여 민감정보 유출, 시스템 권한탈취, 오동작을 유발
• T15: 용역업체 보안관리 부실
- 정의: AI시스템 구축·운영 등을 위탁한 용역업체 보안관리 부실
- 위협: 용역업체를 통해 AI모델·학습데이터가 외부로 유출되거나, 오염되어 AI시스템이 오동작 또는 잘못된 결과를 생성
3. 보안위협별 주요 사례
4. AI시스템 보안위협별 보안대책
• M01 신뢰할 수 있는 출처의 데이터 활용: AI모델 학습·재학습·평가가 필요한 경우, 데이터 배포처(플랫폼)와
배포자(제공 주체)의 신뢰성을 함께 검증하여 신뢰할 수 있는 출처의 데이터를 활용
- 데이터 공급자가 공식 인증기관, 정부, 공공데이터 포털 등 신원 확인이 가능한 주체인지 확인
- 데이터 공급자의 공식 사이트, 계약을 통한 구매, 기관 내부의 검증된 데이터 등 신뢰 가능한 출처의 데이터만 사용
- 배포자 정보(배포자명, 이메일 주소, 도메인, 발급된 인증서 등)를 검색·비교하여 신뢰 가능한 배포자인지 확인
- 데이터 공급자나 저장소에 대해 인증서 기반으로 신원검증 혹은 전자서명 검증 등을 수행하고 사용
• M02 신뢰할 수 있는 출처의 AI모델·라이브러리 활용: 오픈소스 AI모델·라이브러리 등이 필요한 경우, 배포 경로와 배포자를 함께
검증하여 신뢰할 수 있는 출처에서 획득하여 활용
- 오픈소스 AI모델·라이브러리·소프트웨어 등은 공식 사이트 등 신뢰성을 보장할 수 있는 출처를 통해서만 사용
- 사용 전 배포자 전자서명과 해시값 검증 등을 통해 무결성을 검증하고, 필요 시 개발·운영 환경과 분리된 샌드박스 등 별도 환경에서
안전성을 확인하여 사용
• M03 데이터 검사: 데이터의 악의적인 변조 또는 비인가 민감정보 포함 여부 등을 검증하고, 데이터 수집·전송·저장·학습 전 과정에 걸쳐
무결성 검증 체계를 운영
- 데이터 분류·정제 등 전처리 단계에서 정규식(Regex) 기반 탐지 혹은 개인·민감정보 필터링 엔진 등을 활용하여 식별·차단
- 수집한 데이터에 악성코드·AI 백도어 포함여부 등을 검사하고 차단·제거
- 데이터셋의 유형 · 형식 · 범위 등에 대한 스키마 검증, 비정상 값·패턴에 대한 이상치 탐지 과정을 통해 변조나 비정상 데이터 삽입을 검출
- 원본 데이터 파일에 무결성 보호를 위한 메타데이터(작성자, 생성시각, 해시값, 서명자 등)를 부여하고, 버전 및 변경이력 로그 관리
• M04 데이터 암호화: 원시·학습데이터의 외부 유출 및 오염 방지를 위해 암호화를 권고하나, 공개등급 데이터는 암호화 대상에서 제외
- 기밀이 포함되지 않은 원시·학습데이터 저장소는 국가정보원장이 개발하거나 안전성을 확인한 암호 알고리즘을 활용하여 암호화
* 기밀 포함 시 국가정보원장이 개발하거나 안전성을 확인한 암호자재 활용이 필요하며 사전 협의 필수
- 데이터 암호화에 사용한 암호키는 하드웨어 보안 모듈(HSM)5 또는 키 관리 서비스(KMS) 등을 통해 중앙 관리 가능
• M05 데이터 접근통제: 사용자, 데이터, 접근경로별 권한 부여를 통해 접근제어
- 사용자, 그룹, 데이터별로 최소 권한만 부여하고, 관리자 권한에 대해서는 다중 보안 인증 등을 활용
- 데이터 접근 요청 시 계정권한, IP, 네트워크 구간 등을 검사하여 접근통제에 활용
• M06 민감정보 사용 사전 승인: 민감정보 또는 비공개 정보가 포함된 데이터를 학습 · 재학습에 활용할 경우, 기관 내부 절차에 따라
사전 보고 및 승인
- 데이터를 업로드 또는 학습 과정에서 민감정보 필터링 등을 통해 자동 분류하고, 승인 절차로 자동 연동되거나 차단토록 구성
- 학습목적으로 가져온 외부 데이터에 운영하는 AI시스템의 보안등급 및 활용 목적에 부합하지 않는 민감정보가 포함될 수 있으므로
사전 확인 및 승인 과정 필요
- 승인된 데이터에는 전자서명 등을 활용하여 식별자를 부여하고, 식별자가 없는 데이터에 대해서는 학습 과정에서 자동 차단되도록 구성 가능
• M07 보안등급에 맞는 학습데이터 구성·활용: AI시스템의 활용목적 및 등급분류에 맞게 기밀·민감·공개등급의 학습데이터를 사용하고,
등급기준에서 벗어나 예외적으로 필요 시 비식별화 등 조치하여 사용
* 대민서비스용 AI시스템 등 외부에 노출되는 AI시스템의 경우 공개등급 데이터만 활용 등
- 데이터 등급분류를 토대로 접근제어를 적용하여, 기밀·민감등급 데이터는 격리된 저장소에서만 학습되도록 구성 가능
- 사용자 혹은 부서별로 학습데이터 접근권한을 세분화하여 관리하고, RAG 등 구성 시 권한별로 적합한 벡터DB를 참조하도록 구성하여
AI시스템의 답변을 통제
- 비식별화 도구를 사용하여 민감데이터에서 식별자를 제거하거나 노이즈 주입 시, 승인절차를 거쳐 제한적으로 학습에 활용
• M08 데이터 로깅·모니터링: 원시·학습데이터 등에 대한 접근·변경 행위 로그 기록 및 정기 분석
- 데이터 스토리지 시스템에 파일 접근 및 변경 이벤트를 수집하는 에이전트를 구성하고, 수집한 로그를 이벤트 관리(SIEM)7 서버로
전송하여 이상행위 분석
- 무결성 모니터링 도구 등을 활용하여 주기적으로 데이터의 해시값 변화를 점검하고, 비인가 변경에 대한 알람 및 접근 차단을 수행
• M09 AI시스템 로깅·모니터링: 사용자, 단말, 시스템 등에서 발생하는 AI 입 · 출력정보, 접근이력 등을 로그 기록하고 정기 분석
- AI시스템에 대한 사용자의 요청 · 응답 및 접속이력 등을 실시간 수집하여 로그로 기록하고, 정기적으로 분석하여 이상행위 탐지
- 모니터링을 통해 과도한 AI시스템 호출, 비정상 입력 프롬프트 패턴 등을 탐지하면 경보를 발생하고 비정상 행위 차단 등 대응
• M10 데이터 수집 명세서 관리: 수집한 데이터셋의 출처, 일자, 수집 방법 · 경로, 규모, 해시값 등을 기록하여 이력을 관리
- ‘데이터 카탈로그’를 구축하여 각 데이터셋에 대한 명세서를 자동 기록하고, 형상관리시스템 등과 연동하여 변경이력을 관리
- 데이터 수집 과정에서 고유 식별자(UUID) 및 해시값을 부여, 각 데이터셋마다 이력을 추적
• M11 AI시스템 구성요소 명세서 관리: AI모델, 학습데이터, 라이브러리 등 구성요소에 대한 출처, 버전, 변경이력, 해시값 등을
형상관리(Configuration management)
- 시스템 운영 중 파악되는 취약점은 명세서를 활용하여 취약한 구성요소를 식별, 소프트웨어 패치 및 모델 재학습 등 수행
- AI시스템에 구성요소를 활용하는 시점에 출처, 버전, 변경이력, 해시값, 서명자 등을 수집해 메타데이터로 저장·관리
* 향후 AIBOM9 등을 활용한 공급망 보안체계를 검토할 계획
• M12 AI시스템 구성요소 무결성 검증: AI모델, 학습데이터, 라이브러리 등 구성요소가 원본과 동일한지 검증
- AI모델, 학습데이터, 라이브러리 등에 대한 전자서명 및 해시값을 생성하고, 정기적으로 검증하여 위변조 탐지 시 차단 및 복원
• M13 입·출력 필터링: AI시스템의 입력 및 응답에 포함된 민감정보가 활용목적 및 기밀·민감·공개등급 분류에 부합하지 않는 경우를 탐지·차단
- AI시스템-사용자간에 AI-DLP10 등 입·출력데이터 필터링 솔루션 등을 활용하여 민감정보 혹은 금칙어·적대적 공격 문구 포함여부를
확인하고 통제 및 차단
- 정규식 혹은 단어기반의 민감정보 탐지가 아닌 문장 단위의 맥락 기반으로 이해하고 대응이 가능한 필터링 기능 활용을 권고
• M14 입력 길이·형식 제한: AI시스템에 입력되는 사용자 프롬프트의 길이·형식·반복도·복잡도를 제한하여 운영하고, 금칙어·공격패턴 등을
필터 혹은 사전 정의한 입력 템플릿 등을 통해 차단
- 공격용 프롬프트가 입력되지 않도록 과도하게 긴 입력, 공격 패턴 형식, 유사질의 반복 등을 시스템 사용 및 활용 목적에 맞게 제한
- 사전에 정의한 템플릿에 맞춰 입력하도록 하여 공격 프롬프트 주입을 차단하는 방식도 가능
• M15 가드레일 다중화: AI시스템 오작동, 유해한 입·출력, 민감정보 유출 등을 방지하기 위해 다수의 보호장치를 계층적 혹은 병렬적으로
배치하여 운영
- 사용자의 입력, AI모델 동작, 출력 결과 등 각 동작 단계별로 민감정보 필터링, 적대적 공격 방어, 서비스 거부 공격 대응, 응답 결과 변형 등을
수행할 수 있는 복수의 가드레일을 배치
* 동일 혹은 유사 입력에 대해 응답을 일정 수준으로 무작위 변형 등
- 민감정보 요청, 시스템 제어 의심 등 고위험 입·출력에 대해서는 자동 필터링하여 관리자가 검토하도록 구성
• M16 AI모델 구조·가중치 유출 방지: AI모델 구조·가중치 등 AI모델의 주요 정보가 유출되거나, 응답 과정에서 AI모델의 명칭, 버전, 확률값 등
세부 정보가 유출되지 않도록 조치
- AI모델의 주요 정보를 암호화하거나 접근권한 통제를 강화
- AI가 응답 시 유출되지 말아야 할 내부 정보(모델 명칭, 버전 등)에 대해 비공개 처리하는 등 민감한 정보가 유출되지 않도록 구성 등 조치
• M17 AI시스템 경계보안 강화: AI시스템을 타 정보통신시스템 등과 연계할 경우, 방화벽 등 정보보호제품을 활용하여 접근통제
- AI시스템 운영 및 관리를 위한 전용 네트워크를 구성
- AI시스템에 접근하는 대상 사용자·시스템 등을 식별하고, 방화벽·망연계장치 등 정보보호제품의 보안정책을 통해 접근통제
- DMZ·중계서버 등을 활용하여 사용자·시스템이 AI시스템에 직접 접근하지 못하도록 구성
- 내부망 전용 AI시스템일 경우, 인터넷 등 외부망과 연계되지 않도록 네트워크를 물리적·논리적으로 분리하여 운영
- 외부 데이터 반입 시 망연계시스템 등을 활용하고 악성코드 유입 검사 등을 수행하여 내부로 전송
• M18 AI시스템 통신구간 보호: 사용자와 AI시스템 혹은 AI시스템과 타 시스템 통신구간에 인증강화 및 암호화 등을 통한 보호조치
- VPN, TLS 등을 통해 통신구간을 암호화하여, 사용자-AI시스템 간 입·출력데이터 및 AI시스템 관련 정보의 외부 유출 방지
- 사용자-AI시스템 간 세션 유효기간을 지정하고, 정기적인 갱신을 통해 세션 탈취 위험 예방 필요
• M19 과도한 권한 부여 제한: AI시스템의 활용 목적에 따라 필요한 최소한의 권한만 부여하고, 접근 가능 시스템·데이터를 제한
- AI시스템의 목적에 맞지 않는 데이터 수정, 시스템 제어 등 불필요한 권한 부여를 제한
- 데이터 수정, 시스템 제어 등 민감한 작업에 대한 권한이 필요한 경우, 업무 수행에 필요한 최소한의 권한만 부여하고, 사람의 검토와
승인 절차 마련
- AI시스템에 의해 수행 가능한 제어영역과 제어값의 상·하한선 마련 등 안전 경계를 설정하여 과도한 제어·수정 권한을 통제
- AI시스템이 외부와 연계될 경우, 내부 제어시스템 등 중요 시스템 혹은 데이터를 임의로 조작할 수 없도록 권한 최소화
• M20 민감 명령 승인 절차 마련: AI시스템 운영 목적에 부합하더라도 중요 제어명령 혹은 데이터 수정 등 민감한 작업에 대해서는
반드시 사람이 개입하도록 설계
- 민감한 작업에 대해 담당자의 명령 검토 및 승인 절차를 마련
- AI시스템의 출력 결과가 실제 민감 작업으로 실행되기 전 샌드박스 등을 활용하여 결과를 시뮬레이션하고 승인하도록 구성도 가능
- 승인자 정보, 승인 절차, 승인한 내역 등을 로그로 기록하여 사고 발생 시 검증 가능하도록 관리
• M21 비상대응 체계 마련: AI시스템이 잘못된 동작을 할 경우 즉시 작업을 중단시킬 수 있도록 비상정지 기능 등을 마련
- AI시스템에 비상차단용 인터페이스를 구성하고 이상 신호를 탐지하거나, 관리자의 중단명령을 통해 프로세스, 네트워크 등 단위로
차단 가능하도록 설계
- 오작동 탐지 시 경보시스템을 통해 관리자에게 즉시 통보하고 로그 정보를 보존하여 사후 원인 분석이 가능하도록 구성
- AI시스템이 제어시스템 등 타 시스템의 자동화에 활용 중일 경우 이상행위 탐지 시 즉각적인 타 시스템의 수동운영 모드 전환 및 비상정지
등 대응절차 마련
• M22 설명가능한 AI 구성: AI의 추론·결정 과정 등을 관리자가 인지 가능한 형태로 필요한 정보를 제공할 수 있도록 구성 권고
- AI의 추론 과정을 해석 가능하도록 구성하거나, 사후 AI의 결과를 설명 혹은 판단 근거를 시각화 하는 등 결과 도출 과정을 이해할 수 있도록
설계하고 인터페이스를 제공
* 현재 완벽하게 설명 가능한 AI 구성에는 기술적 한계가 존재, 로깅 · 모니터링 병행 필수
• M23 AI모델 대상 적대적 모의공격 수행: AI모델에 의도적으로 무작위 공격값을 입력하여 숨겨진 트리거 반응이나 AI 탈옥 등 이상동작
발생여부 확인
- AI 탈옥을 위한 프롬프트 인젝션, 회피·교란 등 공격 유형별로 입력값을 자동 생성토록 하고, 입력에 따른 AI모델의 반응을 계량화하여
표출토록 구성·운영
* 신뢰할 수 있는 출처의 평가용 벤치마크 데이터셋을 활용하여 AI모델의 보안성을 정량적으로 측정하는 방법도 가능
- 확인한 취약요소에 대해서는 보완할 수 있도록 시스템 프롬프트 보강, 적대적 공격유형을 재학습시키는 등 강건성 확보 필요
• M24 AI모델에 적대적 공격유형 학습: AI 탈옥 시도 혹은 특정 패턴 입력을 통한 AI의 오작동 유도 등 공격유형을 지속적으로 확보 · 학습하여
보안성을 강화
- 평가용 벤치마크 등을 활용하여 다양한 공격 시나리오를 정기 모의수행하여 AI모델의 취약점을 파악하고, 유사 공격유형을 지속 학습시켜
취약점 개선
- 외부에 공개된 AI 탈옥용 프롬프트 혹은 노이즈를 첨가하여 가드레일을 회피하는 이미지 등 적대적 공격유형을 지속 확보하고 AI모델에 재학습
• M25 AI시스템 구성요소 취약점 점검 및 보안 업데이트: AI시스템을 구성하는 소프트웨어, 라이브러리, 네트워크 구조 등에 대한 취약점을
점검하고 보안패치
- AI시스템 구성요소에 대해 정기적으로 취약점을 점검·확인하고 보안 업데이트를 실시
- 보안 업데이트 과정에서 AI시스템의 오작동 등 발생 가능성에 대비, 실제 운영환경에서 발생 가능한 보안위협을 샌드박스·예비시스템 등을
활용하여 정적·동적 검증 후 업데이트 적용 권고
• M26 AI모델 복구: AI모델에서 민감정보 유출, 변조, 무단제어 등 이상행위 발생이 의심되는 경우, 즉시 운영을 중단하고 원본으로 복원하거나
재학습을 수행
- AI모델 배포 시점마다 서명정보와 해시값을 운영환경과 분리된 백업 저장소에 보관하고, 이상행위 탐지 시 보관된 정보를 이용하여 무결성
검증 수행
- 이상행위 탐지 시점에 즉시 백업된 모델을 복원할 수 있는 체계(스크립트, 파이프라인 구성 등) 마련
- 검증된 원본 학습데이터를 활용하여 AI모델을 재학습하여 복원 및 전환도 가능
• M27 요청 속도 제한: 공격자의 AI시스템 과부하 시도를 방지하기 위해 호출 횟수, 입력 길이, 동시 처리 요청수, 출력 용량 등을 제한
- 시스템, 사용자 등 서비스를 요청하는 주체별로 입력 길이, 요청수 등을 차등적으로 한도를 설정하여 자원 고갈 방지
- AI시스템 로깅·모니터링을 병행하여 반복적인 질의 발생으로 인한 리소스 과부하 여부를 확인하고 공격 의심 대상을 통제
• M28 AI시스템 구성요소 완전 삭제: AI시스템 폐기 시 재사용이 불가능하도록 AI모델·학습 데이터·벡터DB·로그 등 구성요소 전체를 완전 삭제
- AI모델, 학습데이터 등은 복구 불가하도록 완전삭제 소프트웨어를 이용하여 삭제
- 삭제 완료 이후 무작위 샘플링 검증이나 포렌식 도구 등을 활용하여 복구 불가 여부 확인 가능
- 민감등급 이상의 학습데이터가 저장된 저장소 등을 물리적으로 파기하는 것도 가능
• M29 용역업체 보안관리: 데이터 수집, AI 학습, AI시스템 구축 등 전 수명주기에 걸쳐 용역업체를 활용 시, 정기 보안점검 및 비인가 행위
발생여부 확인
- 정기적으로 용역업체의 보안 준수 여부를 점검, AI시스템 구성요소 관리, 오염데이터 유입차단 등 용역업체에 할당한 업무 보안강화
- 용역업체 계정에는 최소 권한으로 부여하고 불필요 시 즉시 회수
- 용역업체와 계약 시 보안요구사항을 명시하고 취약점 발견 시 통지 의무를 명시
• M30 사용자 교육 및 보안정책 수립: 기관 사용자가 AI시스템 활용 시 주의해야 할 보안수칙에 대해 안내·교육하고, 기관 내부 보안정책
수립하여 운영
- 외부 상용 AI서비스에 민감정보 입력 금지 등 필요한 보안정책을 수립하고 관련 경고 배너·알림 등을 표시
- AI시스템을 통한 보안위협과 대응 절차 등을 정기적으로 교육하여 보안인식을 제고
출처: 인터넷진흥원: Korea Internet & Security Ageny [KISA] AI 보안 위협 대응 메뉴얼
⭐발표자 : 오은택님