Package 12 · L3 개발자 × D4 혁신 · 2026-09 신설

온프레·하이브리드 AI 인프라 구축

AI Native 기업의 기술 뼈대 — vLLM·KServe·LiteLLM·LLMOps·GPU 클러스터

PACKAGE 12 L3 개발자 × D4 혁신 ★ 2026 신설 · 인 카테고리 8과목

💰 단가

협의 (코어 4일 28H · VAT 별도)

※ 2026-09 참고 견적 — 협의로 확정. 풀 로드맵 확장 시 91H 구성 가능 (전략 7H + 입문 7H + 코어 28H + K8s 14H + LLMOps 14H + 보안 7H + GPU 고급 21H 중 선택).

🎯 타겟

📝 과정 소개

금융 망분리 · 공공 폐쇄망 · 제조 기밀 보호 등 규제 환경에서 자체 AI 인프라를 구축·운영하는 역량을 키우는 과정입니다. 2026년 표준 스택(vLLM·SGLang 추론 + KServe 서빙 + LiteLLM 하이브리드 게이트웨이 + Prometheus/Langfuse 관측)으로 온프레 LLM을 직접 구축하고, 민감데이터는 온프레·일반 트래픽은 클라우드로 라우팅하는 하이브리드 아키텍처를 실습합니다. 국내 AI Enterprise 서비스(HyperCLOVA X · A.X · KT LLM Station · Brity) 선정 가이드와 Azure Local·Google GDC 비교까지 포함합니다.

🎯 교육 목표

🔧 핵심 도구

vLLMSGLangKServeLiteLLMKubernetesPrometheusLangfusellm-guard-koEXAONE/Llama

🛤️ 트랙별 상세 커리큘럼

TRACK 01 · 코어 (필수) 온프레 구축 + 하이브리드 게이트웨이 총 28시간 (4일) · 시트 등재 인-개-3-001/003
모듈내용시간
온프레 LLM 구축·운영 실무vLLM(PagedAttention)·SGLang 비교 · 양자화(GPTQ/AWQ) · 처리량·지연 최적화 · 부하 테스트14H
하이브리드 AI 게이트웨이LiteLLM 정책 라우팅 · PII 감지 마스킹(llm-guard-ko) · 폴백·예산 캡 · 감사로그 설계14H
TRACK 02 · 확장 (선택) 운영 고도화 · 플랫폼 · 보안 · GPU 선택제 7~21H · 시트 등재 인-개-3-002/004, 인-개-4-001/002, 인-전-2-001, 인-개-2-001
확장 모듈내용시간
Kubernetes AI 플랫폼GPU Operator · MIG · KServe/Ray · 오토스케일링 · 멀티테넌시14H
LLMOps 관측·운영Prometheus/Grafana(DCGM) · Langfuse·OTel · A/B·롤백14H
AI 보안 인프라·규제프롬프트 인젝션 방어 · 망분리 아키텍처 · ISMS-P·AI 기본법7H
GPU 클러스터 고급InfiniBand/RoCE · 병렬화(TP/PP/EP) · 용량계획 · 벤치마킹21H
전략·입문 (경영진/신규)지형·선정 전략 / 첫 사내 LLM API7H

📦 산출물

🏢 산업 적합도

산업적합도비고
대기업◎금융(망분리·전자금융감독규정) · 제조(기밀·엣지) 강수요
중견·중소○입문(7H)→게이트웨이 순 단계 도입
공공◎폐쇄망·에어갭 — KT LLM Station·Azure Local 선정 가이드 포함
대학△연구 클러스터 운영팀 대상 재구성

📚 유사 레퍼런스

⚙️ 필요 인프라