DS&G 최효진 CTO "AI인프라, 구매 아닌 설계가 핵심"

GPU 과투자, 실제 활용률은 극히 저조

DS&G 최효진 CTO는 7일 서울 코엑스의 '2026 AI엑스포'에서 "2024년 미국 보고서에 따르면 GPU 가동률이 70% 미만인 곳이 75%에 달했다"며 "실제 현장의 GPU 사용률은 10~40%에 그쳤다"고 지적했다. 기업들이 비싼 GPU에 수억~수십억 원을 투자했으나 예상한 ROI(투자대비수익)를 달성하지 못하고 있다는 분석이다.

잘못된 순서: '예산→구매→구축→개발' 역순으로 변경해야

최 CTO는 현재 산업의 주요 문제점으로 "워크로드를 모르는 상태에서 가장 중요한 결정을 내린다"고 지적했다. 현재 관례는 예산확정→HW구매→클러스터 구축→모델 개발 순이나, "가장 먼저 워크로드 프로파일링을 하고 이어 역산설계(HW+SW 동시)→ROI KPI 설정→구축→측정 및 최적화 순으로 진행해야 한다"고 강조했다. 또 레이어간 미스매치(예: B200 칩과 느린 스토리지 조합), 소프트웨어 최적화 후순위화, ROI KPI 부재 등 3가지 핵심 문제를 꼬집었다.

'정적 배포' 문화가 ROI를 죽인다

최 CTO는 "문제의 본질은 GPU 선택이 아니라 '정적 배포=고정 할당'이다. 이것이 ROI를 죽인다"고 강조했다. H100 SXM 풀클러스터를 팀별로 고정할당하는 방식은 GPU 가동률이 30~40%에 불과해 인프라 지출의 60~70%를 낭비한다는 설명이다. 반대로 MIG 파티셔닝을 통해 칩 1장을 최대 7인스턴스로 동적 분할 운영하는 방식을 성공 사례로 제시했다.

네트워크·스토리지·스케쥴러까지 통합 설계 필수

최 CTO는 2계층 레일-옵티마이즈드 네트워크, 계층화된 스토리지(Hot/Warm/Cold), 강 스케쥴링과 동적 GPU 프랙션 등 종합적인 AI인프라 설계 원칙을 제시했다. 특히 "쿠버네티스 같은 것들을 설계 단계부터 고려해야 하며, CXL로 GPU 메모리 한계를 돌파할 수 있다"며 "AI인프라는 구매하는 게 아니라 설계하는 것. HW는 결과물이고, 워크로드 프로파일이 출발점"이라고 강조했다.