안전하고 책임감 있는 LLM 애플리케이션 구축하기 교육 과정

LLM 아키텍처 및 공격 가능 영역 개요

• LLM이 어떻게 구축되고 배포되며 API를 통해 활용되는지 설명합니다.
• 프롬프트, 에이전트, 메모리, API 등 LLM 애플리케이션 스택의 주요 구성 요소들입니다.
• 실제 환경에서 보안 문제가 어디서 어떻게 발생할 수 있는지 살펴봅니다.

프롬프트 삽입 공격 및 금지 규칙 우회 기법

• 프롬프트 삽입이 무엇이며 왜 위험한지 설명합니다.
• 직접적/간접적 프롬프트 삽입 사례를 예시로 제시합니다.
• 보안 필터를 우회하기 위한 금지 규칙 해킹 기법들입니다.
• 이러한 공격들을 탐지하고 방어하는 전략을 배웁니다.

데이터 유출 및 개인정보 보호 문제

• LLM의 응답 내용으로 인해 예기치 않게 데이터가 노출될 수 있습니다.
• 개인식별 정보(PII) 유출이나 모델 메모리 오용 문제도 발생할 수 있습니다.
• 프라이버시 보호를 고려한 프롬프트 설계 및 검색 기반 생성(RAG) 방식입니다.

LLM 출력값 필터링 및 보안 강화

• Guardrails AI를 활용해 콘텐츠를 필터링하고 유효성을 검증합니다.
• 출력 결과의 구조와 제약 조건을 정의하는 방법입니다.
• 안전하지 않은 출력값들을 모니터링하고 기록하는 절차도 배웁니다.

인간의 개입과 워크플로우 설계 전략

• 어떤 단계에서 인간의 감독이 필요한지 결정하는 기준입니다.
• 승인 절차, 점수 임계값 설정, 예외 처리 방안 등도 다룹니다.
• 신뢰 수준 측정과 결과 해석의 중요성도 살펴봅니다.

안전한 LLM 애플리케이션 설계 패턴

• API 호출 및 에이전트 실행 시 최소 권한 원칙 적용과 샌드박스 처리입니다.
• 요청 수 제한, 과부하 방지 메커니즘, 악의적 사용 감지 기능도 설명합니다.
• LangChain을 활용해 여러 모듈 간 상호작용이 안전하게 이루어지도록 설계하는 방법입니다.

규정 준수, 로그 기록 및 거버넌스

• LLM 출력 결과의 감사 가능성을 확보합니다.
• 프롬프트와 버전 관리 체계를 통한 추적성 유지입니다.
• 내부 보안 정책 및 외부 규제 요건과의 부합 여부도 고려해야 합니다.

요약 및 향후 학습 방향