Sec for AI

활동 소개

[스터디 소개]

본 스터디는 Sec for AI 관점의 AI Security 전반을 학습하고 공유하는 것을 목표로 합니다.

AI Security의 최신 동향과 기본적인 AI 해킹 기법부터 시작하여, 최근 중요성이 커지고 있는 AI Agent, Tool, MCP Security까지 단계적으로 다룹니다.

공격 관점의 Red Teaming뿐만 아니라, 이에 대응하기 위한 Blue Team 관점의 방어 기법, 그리고 AI 시스템의 안전성과 보안성을 검증하기 위한 AI Security Evaluation까지 함께 학습합니다.

단순한 이론 학습에 그치지 않고, 실제 공격·방어 사례와 실습을 통해 AI 시스템에서 발생할 수 있는 보안 위협을 이해하고 직접 분석할 수 있는 역량을 기르는 것을 지향합니다.

[스터디 목표]

• AI Security 및 Sec for AI의 기본 개념과 최신 동향 이해
• Prompt Injection, Jailbreak 등 기초적인 AI 공격 기법 학습
• AI Agent, Tool Calling, MCP 환경에서 발생할 수 있는 보안 위협 분석
• Red Team 관점의 공격 기법과 Blue Team 관점의 방어·탐지 기법 학습
• Guardrail, Detection, Evaluation 등 AI Security 평가 방법론 학습
• 실제 취약점 분석 및 공격·방어 실습을 통한 실전 역량 강화
• 최종적으로 Prompt Injection / AI Security 관련 대회에 참가할 수 있는 수준의 실력 확보

준비물

노트북지참 및 논문 3가지 읽어오기를 권장

1. ( ACL, 2025 ) JailbreakRadar: Comprehensive Assessment of Jailbreak Attacks Against LLMs
2. ( ArXiv, 2024 ) Jailbreak Attacks and Defenses Against Large Language Models: A Survey
3. ( ICLR, 2025v ) Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents

일정

매주 목요일 19:00

커리큘럼