기술 트렌드
AI 시대에 데이터 인프라가 다시 주목받으면서 오픈 테이블 포맷인 Apache Iceberg가 데이터 레이크하우스의 사실상 표준으로 자리 잡아 가고 있습니다. Iceberg가 무엇이고 왜 주요 클라우드·데이터 기업이 이 포맷을 지원하는지, 데이터 엔지니어를 꿈꾸는 사람이 무엇을 준비하면 좋을지 정리했습니다.
생성형 AI와 에이전트가 기술 담론의 중심에 서 있지만, 현업에서는 AI가 쓸 데이터를 어떻게 저장하고 관리할 것인가라는 오래된 질문이 다시 중요해지고 있습니다. 좋은 모델도 정리되지 않은 데이터 위에서는 제 성능을 내기 어렵기 때문입니다. 이 흐름 속에서 최근 몇 년간 데이터 업계에서 가장 자주 언급되는 기술 중 하나가 오픈 테이블 포맷, 그중에서도 Apache Iceberg입니다. 이 글에서는 Iceberg가 등장한 배경과 핵심 기능, 업계 동향, 그리고 커리어 관점에서의 의미를 차례로 살펴봅니다.
【데이터 웨어하우스와 데이터 레이크의 한계】 전통적인 데이터 웨어하우스는 정형 데이터를 SQL로 빠르고 안정적으로 분석할 수 있지만, 저장 비용이 높고 특정 벤더의 시스템에 데이터가 묶이기 쉽다는 단점이 있었습니다. 반대로 Amazon S3 같은 객체 스토리지에 파일을 쌓아 두는 데이터 레이크는 저렴하고 유연하지만, 여러 작업이 동시에 데이터를 고칠 때 일관성을 보장하기 어렵고, 어떤 파일이 어떤 테이블에 속하는지 관리하기도 까다로웠습니다. 이른바 데이터 늪이 되기 쉬웠던 것입니다. 두 방식의 장점을 합치려는 시도가 바로 레이크하우스이며, 그 핵심 부품이 오픈 테이블 포맷입니다.
【오픈 테이블 포맷이란 무엇인가】 오픈 테이블 포맷은 Parquet 같은 데이터 파일 위에 메타데이터 계층을 얹어, 객체 스토리지에 흩어진 파일 묶음을 하나의 테이블처럼 다룰 수 있게 해 주는 규격입니다. 어떤 파일이 현재 테이블에 포함되는지, 스키마가 어떻게 바뀌어 왔는지, 각 시점의 상태가 무엇이었는지를 메타데이터로 기록합니다. 대표적인 포맷으로는 Netflix에서 시작된 Apache Iceberg, Databricks가 주도해 공개한 Delta Lake, Uber에서 출발한 Apache Hudi가 있습니다. 세 포맷은 목표가 비슷하지만 설계 철학과 생태계에서 차이가 있습니다.
【Iceberg의 핵심 기능】 Iceberg는 Netflix가 대규모 데이터 테이블을 관리하며 겪은 문제를 해결하기 위해 만들었고, 이후 Apache 재단에 기증되어 최상위 프로젝트가 되었습니다. 주요 기능으로는 먼저 ACID 트랜잭션이 있어 여러 작업이 동시에 쓰더라도 테이블이 깨지지 않습니다. 둘째, 스키마 진화를 지원해 컬럼을 추가하거나 이름을 바꿔도 기존 데이터를 다시 쓸 필요가 없습니다. 셋째, 숨겨진 파티셔닝 덕분에 사용자가 파티션 구조를 몰라도 쿼리가 자동으로 필요한 파일만 읽습니다. 넷째, 스냅샷 기반의 타임 트래블로 과거 특정 시점의 데이터를 조회하거나 잘못된 변경을 되돌릴 수 있습니다.
【엔진 독립성이 가져온 변화】 Iceberg가 특히 주목받는 이유는 특정 처리 엔진에 종속되지 않는다는 점입니다. Spark, Flink, Trino, Presto, DuckDB 등 다양한 엔진이 같은 Iceberg 테이블을 읽고 쓸 수 있습니다. 이는 데이터를 한 곳에 두고 용도에 따라 엔진을 골라 쓰는 구조를 가능하게 합니다. 예를 들어 실시간 수집은 Flink로, 대규모 배치 처리는 Spark로, 대화형 분석은 Trino로 처리하면서도 데이터 복제 없이 동일한 테이블을 공유할 수 있습니다. 저장과 연산의 분리가 실질적인 선택의 자유로 이어진 셈입니다.
【업계의 움직임】 2024년 이후 주요 기업들의 행보는 Iceberg의 위상을 뚜렷하게 보여 줍니다. Databricks는 2024년 Iceberg 창시자들이 세운 Tabular를 인수하며 Delta Lake와 Iceberg 간 호환성 강화를 내세웠습니다. Snowflake는 Iceberg 테이블 지원을 확대하고 Iceberg REST 카탈로그 규격을 구현한 Polaris를 공개해 Apache 재단 인큐베이터에 기증했습니다. AWS 역시 2024년 말 Iceberg 기반의 S3 Tables를 발표했고, Google Cloud도 BigQuery에서 Iceberg 연동을 지원하고 있습니다. 경쟁 관계의 기업들이 같은 포맷을 지원한다는 점에서, 테이블 포맷 경쟁은 상당 부분 Iceberg 중심의 상호운용성 경쟁으로 옮겨 갔다고 볼 수 있습니다.
【카탈로그라는 새로운 전장】 포맷이 표준화되자 관심은 카탈로그로 이동했습니다. 카탈로그는 어떤 테이블이 어디에 있고 현재 메타데이터가 무엇인지 알려 주며, 접근 권한과 거버넌스까지 담당하는 계층입니다. Iceberg는 REST 카탈로그 규격을 정의해 서로 다른 엔진이 동일한 방식으로 카탈로그와 통신할 수 있게 했고, Apache Polaris, Databricks가 오픈소스로 공개한 Unity Catalog, AWS Glue Data Catalog 등이 이 영역에서 경쟁하고 있습니다. 데이터 자체는 개방되었지만 이를 관리하는 통제권을 누가 갖느냐가 새로운 쟁점이 된 것입니다.
【도입 시 알아둘 현실적인 과제】 Iceberg가 만능은 아닙니다. 스트리밍처럼 작은 단위로 자주 데이터를 쓰면 작은 파일과 스냅샷이 빠르게 늘어나 성능이 떨어지므로, 파일 병합(컴팩션)과 오래된 스냅샷 정리 같은 유지보수 작업을 꾸준히 해야 합니다. 엔진마다 지원하는 Iceberg 기능 범위가 다를 수 있어 호환성 확인도 필요합니다. 또한 운영 경험이 축적된 조직이 아직 많지 않아, 관리형 서비스를 쓸지 직접 운영할지에 따라 비용과 난이도가 크게 달라집니다. 기술 자체보다 운영 체계를 갖추는 일이 실제 도입의 성패를 좌우하는 경우가 많습니다.
【AI와 레이크하우스의 연결】 AI 활용이 늘면서 레이크하우스의 역할도 넓어지고 있습니다. 모델 학습용 데이터셋은 어느 시점의 데이터로 학습했는지 재현할 수 있어야 하는데, Iceberg의 스냅샷과 타임 트래블은 이런 요구에 잘 맞습니다. 사내 데이터를 AI 에이전트나 검색 증강 생성(RAG) 시스템에 연결할 때도, 일관된 스키마와 접근 통제가 갖춰진 테이블은 품질과 보안 측면에서 유리합니다. 결국 AI 프로젝트의 상당 부분은 신뢰할 수 있는 데이터 기반을 마련하는 일이며, 이는 데이터 엔지니어링 역량에 대한 수요로 이어집니다.
【취업 준비생과 전직 희망자를 위한 조언】 데이터 엔지니어를 목표로 한다면 SQL과 Python을 탄탄히 다진 뒤, Spark 같은 분산 처리 엔진과 Parquet 같은 컬럼 기반 파일 포맷의 원리를 이해하는 것이 출발점입니다. 그 위에서 Iceberg의 메타데이터 구조, 스냅샷, 파티셔닝 방식을 공부하면 레이크하우스가 왜 이렇게 설계되었는지 자연스럽게 보입니다. 로컬 환경에서 DuckDB나 Spark로 Iceberg 테이블을 만들고 스키마 변경, 타임 트래블, 컴팩션을 직접 실습해 보는 것만으로도 면접에서 설명할 수 있는 경험이 됩니다. 특정 제품 사용법보다 저장과 연산의 분리, 트랜잭션, 거버넌스라는 개념을 이해하는 것이 변화가 빠른 이 분야에서 오래 쓰이는 역량입니다.
화려한 AI 기술의 이면에는 데이터를 어떻게 쌓고 지키고 꺼내 쓰느냐는 기반 기술이 있습니다. Apache Iceberg를 중심으로 한 오픈 테이블 포맷의 확산은 데이터가 특정 벤더에 갇히지 않고 여러 도구가 공유하는 자산이 되어 가는 흐름을 보여 줍니다. 이 흐름을 이해하는 것은 데이터 직군을 준비하는 사람에게 앞으로의 업무 환경을 미리 읽는 일이 될 것입니다.