2026년 현재, AI 워크로드는 기존 클라우드 스토리지-컴퓨팅 분리 모델의 한계를 드러냅니다. 비효율을 넘어 막대한 비용 낭비를 초래하는 이 구조는 지능형 스토리지와 컴퓨팅의 통합으로 진화해야 합니다.
2026년 현재, 클라우드 아키텍처는 지난 10년 이상 스토리지와 컴퓨팅을 의도적으로 분리하는 구조를 중심으로 발전해 왔습니다. 이 모델에서 스토리지는 단순히 데이터를 보관하는 공간이 되었고, 지능적인 처리는 전적으로 컴퓨팅 계층에서 수행되었습니다. 이런 설계는 구조화된 테이블 기반 데이터를 처리하는 전통적인 분석 작업에서는 매우 잘 작동했습니다. 예측 가능하고 일정한 주기로 실행되는 워크로드는 제한된 수의 컴퓨팅 엔진이 데이터셋을 효율적으로 처리하는 방식에 최적화되었습니다.
그러나 AI가 기업 인프라와 워크로드 요구 사항을 근본적으로 바꾸면서 상황이 급변하고 있습니다. 데이터 처리가 대량의 비정형 데이터 중심으로 이동하면서 기존 모델은 점점 한계를 드러내고 있습니다. 한때 효율성의 장점이었던 구조적 분리는 이제 점차 구조적 비용으로 변모하고 있으며, 기업들은 새로운 인프라 패러다임을 모색하고 있습니다.
AI 워크로드: 전통적 모델의 한계를 드러내다
AI는 기업이 기존 분석 워크로드에서 경험해 온 방식과 근본적으로 다른 요구를 만듭니다. 과거에는 테이블과 행 데이터를 하나의 엔진이 배치 작업으로 처리하는 것이 일반적이었습니다. 하지만 오늘날의 AI 파이프라인은 방대한 양의 비정형 데이터와 멀티모달 데이터를 처리하며, 동시에 대량의 임베딩, 벡터, 메타데이터를 끊임없이 생성합니다.
처리 방식 역시 과거와 달리 점점 연속적으로 변하고 있으며, 여러 컴퓨팅 엔진이 동일한 데이터를 반복적으로 접근하는 경우가 많습니다. 각 엔진은 데이터를 스토리지에서 꺼내 자신의 작업에 맞게 다시 가공해야 합니다. 그 결과는 단순한 데이터 이동 증가에 그치지 않습니다. 동일한 작업이 비효율적으로 반복 수행되는 병목 현상이 발생합니다.
같은 데이터셋이 스토리지에서 읽혀 모델 학습을 위해 변환되고, 다시 읽혀 추론을 위해 재구성되며, 다시 테스트와 검증을 위해 처리됩니다. 그때마다 데이터 전송과 변환 비용이 불필요하게 다시 발생합니다. 이러한 구조 때문에 데이터 과학자는 모델 개발이나 성능 개선보다 데이터 준비와 정리 작업에 최대 80%의 시간을 사용하고 있으며, 이는 심각한 인력 낭비로 이어집니다.
막대한 경제적 손실: GPU 미활용의 대가
이러한 비효율은 작은 규모에서는 눈에 띄지 않을 수 있습니다. 하지만 AI 워크로드가 커지고 복잡해질수록 주요한 경제적 제약으로 빠르게 확대됩니다. 이는 단순한 시간 낭비를 넘어 실제 인프라 비용의 급증으로 직결됩니다. 현재 기업의 약 93%는 고성능 GPU를 충분히 활용하지 못하고 있다고 답합니다.
주요 클라우드 플랫폼에서 고성능 GPU는 시간당 수 달러에서 수십 달러의 높은 비용이 발생합니다. 이런 미활용은 결국 수천만 달러 규모의 컴퓨팅 비용 낭비로 이어질 수 있습니다. GPU가 AI 인프라 예산의 핵심 요소가 될수록, I/O 대기로 인해 컴퓨팅 자원이 유휴 상태로 시간을 보내는 기존의 스토리지-컴퓨팅 분리 구조는 점점 더 정당화하기 어려워지고 있습니다.
AI 모델의 학습과 추론에 필요한 막대한 데이터 이동과 반복적인 변환 작업은 네트워크 대역폭 비용을 증가시키고, 스토리지 계층과 컴퓨팅 계층 사이의 불필요한 지연을 유발합니다. 이러한 지연은 AI 파이프라인 전체의 성능을 저하시킬 뿐만 아니라, 중요한 비즈니스 의사 결정 시점을 늦추는 결과를 초래합니다. 2026년 현재, 기업들은 이러한 문제를 해결할 시급한 필요성을 느끼고 있습니다.
수동적 스토리지에서 지능형 스토리지로의 전환
AI 워크로드가 드러낸 비효율은 스토리지와 컴퓨팅의 관계가 근본적으로 바뀌어야 한다는 사실을 명확히 보여줍니다. 스토리지는 더 이상 단순한 기록 저장 시스템으로 존재할 수 없습니다. 현대 AI 워크로드를 효율적으로 지원하고 기업이 보유한 데이터의 가치를 최대화하려면 컴퓨팅이 데이터가 존재하는 위치에 훨씬 더 가까워져야 합니다.
산업의 경제 구조 역시 이 사실을 강력하게 뒷받침합니다. 기존 스토리지에 저장된 1TB 데이터는 대부분 비용 요소에 가깝습니다. 그러나 동일한 데이터가 컴퓨팅 계층이 통합된 플랫폼으로 이동하여 지능적으로 처리될 경우, 그 경제적 가치는 여러 배로 증가할 수 있습니다. 데이터 자체는 변하지 않습니다. 단지 데이터를 변환하고 유용한 형태로 제공하는 컴퓨팅이 존재하느냐의 차이일 뿐입니다.
따라서 데이터를 계속 이동시키는 대신, 컴퓨팅을 데이터로 가져오는 것이 해결책입니다. 데이터 준비는 데이터가 존재하는 위치에서 한 번만 수행하고, 그 결과를 여러 파이프라인에서 재사용해야 합니다. 이런 새로운 모델에서는 스토리지가 단순한 저장 계층이 아니라, 데이터를 변환하고 정리하며 하위 시스템에 맞게 제공하는 활성 계층이 됩니다.
스마트 스토리지: AI 시대 인프라의 핵심 동력
이러한 변화는 성능과 경제성 모두에 혁명적인 영향을 미칩니다. 데이터가 미리 준비되기 때문에 AI 파이프라인의 속도는 비약적으로 빨라집니다. 고가의 GPU는 중복 I/O를 기다리는 시간이 줄어들어 훨씬 더 효율적으로 사용됩니다. 또한, 반복적인 데이터 준비와 이동에 수반되던 비용도 크게 줄어듭니다. 이는 AI 프로젝트의 ROI를 직접적으로 개선하는 효과를 가져옵니다.
새로운 모델에서 스마트 스토리지는 데이터를 단순히 저장하는 공간이 아니라, AI 시스템에서 바로 활용할 수 있도록 지속적으로 정리되고 확장되는 자원으로 변모합니다. 원시 데이터를 수동적인 저장소에 그대로 두고 외부 파이프라인이 해석하도록 하는 대신, 스마트 스토리지는 데이터 계층 내부에서 컴퓨팅을 적용합니다.
데이터가 유입되는 순간부터 변환과 메타데이터 생성, 최적화된 형태로의 가공을 수행합니다. 데이터를 한 번 준비하고 여러 워크플로에서 재사용하면, 스토리지는 AI 워크플로의 병목이 아니라 강력한 활성 플랫폼이 됩니다. 이러한 변화 없이는 기업은 반복적인 데이터 처리, 지속적인 데이터 재구성, 그리고 기하급수적으로 증가하는 인프라 비용이라는 악순환에 계속 묶일 것입니다.
미래 클라우드 아키텍처의 재정의
클라우드에서 스토리지와 컴퓨팅을 분리한 설계는 당시에는 올바른 아키텍처 선택이었습니다. 하지만 AI 워크로드와 데이터의 경제 구조를 근본적으로 바꾸었고, 기존 접근 방식의 한계를 명확히 드러냈습니다. 필자는 이런 제약 때문에 여러 기업의 AI 프로젝트가 중단되는 사례를 직접 목격했고, 그 경험을 통해 데이터펠라고(DataPelago)를 창업했습니다.
현재 업계는 데이터 파이프라인의 개별 단계를 가속하는 데 집중하고 있지만, 진정한 효율성은 더 이상 기존 아키텍처에서 작은 성능 개선을 반복하는 방식으로 결정되지 않습니다. 반복적인 데이터 준비, 과도한 데이터 이동, 낭비되는 컴퓨팅을 줄이면서 데이터를 즉시 활용할 수 있는 새로운 아키텍처를 구축하는 것이 핵심입니다.
AI 요구 사항이 점점 더 명확해질수록, 차세대 인프라는 스토리지와 컴퓨팅을 얼마나 지능적으로 결합하느냐에 의해 정의될 것이라는 사실이 분명해지고 있습니다. 2026년 이후, AI 시대의 성공은 스마트 스토리지를 AI 전략의 핵심 기반으로 삼는 기업에 달려 있을 것입니다.
