AI 취약점 점검 솔루션
최근 AI 관련 활용 및 투자가 증가하고 관련 기술의 고도화 및 활용 분야가 확대되고 있습니다.
AI 시장 동향
인력 수요의 증가
AI 및 머신러닝 분야의 인력 수요가 ‘19~’20년 사이 1.5에서 3배 증가함
AI 시장 동향
AI 관련 투자 증가
AI 시스템을 위한 SW/HW 및 서비스 분야 전 세계 투자는 ‘22~’26년 연평균 성장률(CAGR) 26.5%로 ‘26년 3,000억 달러 초과 전망
AI 플랫폼 및 딜리버리 모델
Low-code / No-code
‘25년까지 신규 어플리케이션 중 70%는 LCNC를 활용할 것으로 예상되며, 이미 몇몇 신규 기업은 노코드 AI 플랫폼을 개발 중임
AI 플랫폼 및 딜리버리 모델
AIOps
AIOps의 적용이 증가하고, ’20~’25년까지 연평균 성장률 15%, 15억 달러의 시장 규모로 성장 전망
AI 플랫폼 및 딜리버리 모델
AI-as-a-Service
오픈소스 및 상용 서비스에 AIaaS의 적용이 증가할 것임
AI 플랫폼 및 딜리버리 모델
설명 가능한 AI
‘20년 기준 설명 가능한 AI (Explainable AI) 시장 규모는 약 35억 달러로 추정되며, ‘30년 210억 달러로 성장 전망
AI 고급화
업무 복잡도
알고리즘의 발전으로 인해 AI가 더 복잡한 작업을 해결할 수 있는 가능성이 높아짐
AI 고급화
AI 책임 및 윤리
점점 복잡해지는 알고리즘으로 인해 책임 있고 윤리적인 AI에 대한 중요성이 커짐
AI 기능 부분
기업의 지식 관리
기업 지식 관리는 AI SW프트웨어 투자 중 최상위로 평가되며, 시장 규모는 71억 달러이며 연평균 성장률(CAGR)은 31.5%5로 예상됨
AI 기능 부분
기능 및 산업
사이버, 유통, FS, 기술, 미디어, 정부 및 헬스케어 분야에서 AI 투자가 많이 발생할 것으로 예상됨
조직이 안전한 AI 모델을 도입하고 활용하기 위해서는
보안 공격 대응, 플러그인 관리, 확장 프로그램 관리 등의 조치를 적용해야 합니다.
1. 보안 공격 대응
- 입력 데이터 검증
- TEVV(Test, Evaluation, Verification, Validation) 단계에서의 신뢰성 확보를 위한 위험 관리
2. 플러그인 사용 관리
- 플러그인 배포관리(정식 배포, 신뢰성 검증, 업데이트/권한 관리)
- 플러그인 데이터 접근 제한, 사용량 관리
- 플러그인을 통한 개인정보 및 민감 정보 처리 보호
3. 확장프로그램 관리
- 어플리케이션 배포/운영 관리(접근성, SW인증/보안 체계)
- 데이터 처리 지침 준수(공유/정보보호/처리방식 관리)
4. 대화 검증
- 답변 검증체계(다중 출처, 공식문서활용, 최신데이터 검증)
- 유해성 검토(필터링, 법/규정 교육, 적절한 목적 제한)
- 민감정보 관리(데이터 제어, 개인/인증정보 제한, 데이터삭제)
5. 국내외 규제 대응
- AI 모델에 요구되는 법률 및 규제 준수 및 지적 재산권 등 법적 분쟁 방지
- 보안 요구사항을 포함한 신뢰 가능한 AI 모델을 위한 요구사항 반영
Cranium은 AI 데이터셋, 실험 단계, 모델, 파이프라인 전반에 대한 시각화를 제공하고,
AI 보안 위협 모니터링 및 관련 규제에 대한 적합성 검토를 수행하는 AI 시스템 관리 솔루션입니다.
AI 파이프라인에 대한 시각화와 보안 위협 모니터링 기능을 제공하여
AI 파이프라인의 보안성 확보에 도움을 줍니다.
AI 파이프라인 시각화
- 사용 중인 AI 플랫폼을 Cranium에 연결(Cranium Collector)하거나, 모델, 데이터셋, 파이프라인을 입력
- Cranium 연결까지 15분 내 완료
- AI 파이프라인에 대한 시각화 제공
보안 위협 모니터링
- MITRE ATLAS* 에 기반하여 Backdoor Attack, Model Evasion, Inference Attack, Data Extraction 등 AI 보안 위협에 대한 모니터링 및 보안성 평가 제공
- Data Hygiene, Privacy에 대한 적합성 평가 실시
AI Scoring Card 생성
- 관리 대상인 AI 파이프라인별 Scoring card 생성
- 각 파이프라인별 데이터 정보, 업무 담당자, 목적 등을 기록 및 거버넌스 관리 가능
- 3rd party 솔루션에 대한 보안성 검토 결과 공유 가능
- 적용 필요한 규제에 대한 적합성 및 관리항목 검토 및 시각화
- 신규 AI 보안 규제 및 변동사항 반영
