데이터브릭스, 유니티 카탈로그 업데이트로 데이터 활용 혁신 가속화: 비즈니스 사용자를 위한 새로운 지평
데이터 및 AI 플랫폼 기업 데이터브릭스가 유니티 카탈로그의 혁신적인 신규 기능을 공개하며 데이터 활용의 새로운 시대를 열었습니다. 이번 업데이트는 테이블 형식 종속성을 제거하고 비즈니스 사용자의 데이터 접근성과 활용성을 획기적으로 향상시키는 데 초점을 맞추고 있습니다. 핵심은 아파치 아이스버그 REST 카탈로그 API를 기본적으로 지원하여 외부 엔진에서도 아이스버그 관리 테이블을 자유롭게 읽고 쓸 수 있도록 개방형 거버넌스 환경을 구축했다는 점입니다. 이는 데이터 사일로를 해소하고, 다양한 환경에서 일관된 거버넌스를 실현하는 데 중요한 발걸음입니다.
아파치 아이스버그 지원 강화: 개방형 데이터 거버넌스의 핵심
데이터브릭스는 이번 업데이트를 통해 유니티 카탈로그가 아파치 아이스버그 REST 카탈로그 API를 기본적으로 지원하도록 했습니다. 이는 단순히 기술적인 업데이트를 넘어, 데이터 생태계 전체의 개방성과 상호 운용성을 높이는 데 기여합니다. 이제 사용자는 다양한 외부 엔진을 통해 아이스버그 관리 테이블에 접근하고 활용할 수 있게 되었으며, 데이터 형식에 따른 제약 없이 원하는 분석과 활용을 수행할 수 있습니다. 데이터브릭스는 이를 통해 성능 최적화와 세분화된 정책 적용이 가능한 유일한 통합 카탈로그를 지향하고 있습니다.
비즈니스 사용자를 위한 맞춤형 기능 추가: 데이터 민주화의 실현
유니티 카탈로그는 비즈니스 사용자를 위한 두 가지 핵심적인 신규 기능을 도입했습니다. 첫째, ‘유니티 카탈로그 매트릭스’를 통해 주요 지표와 KPI를 일급 자산으로 정의하고 통합 관리할 수 있도록 했습니다. 이는 비즈니스 성과를 측정하고 분석하는 데 필요한 핵심 지표들을 한 곳에서 관리함으로써 효율성을 높이고, 데이터 기반 의사 결정을 지원합니다. 둘째, 비즈니스 도메인별 큐레이션 기반 ‘디스커버’ 탐색 환경을 제공하여, 비기술 사용자도 신뢰할 수 있는 데이터, 대시보드, AI 자산을 셀프 서비스 방식으로 활용할 수 있도록 했습니다. 이는 데이터 접근성을 높여 데이터 민주화를 실현하는 데 기여합니다.
유니티 카탈로그의 새로운 세 가지 기능
유니티 카탈로그는 이번 업데이트를 통해 다음과 같은 세 가지 주요 기능을 새롭게 제공합니다. ▲아이디얼 REST API 기반 아이스버그 관리 테이블 생성 및 외부 엔진 연동 ▲레이크하우스 페더레이션 기반 외부 아이스버그 테이블 탐색 ▲델타셰어링 생태계 기반 테이블 간 안전한 공유. 이러한 기능들은 데이터 형식에 따른 사일로를 제거하고, 다양한 환경에서도 일관된 거버넌스를 실현하는 데 핵심적인 역할을 합니다. 특히 델타셰어링을 통해 테이블 간 안전한 공유가 가능해짐으로써, 조직 내외부 협업을 촉진하고 데이터 활용의 시너지를 극대화할 수 있습니다.
유니티 카탈로그 매트릭스와 디스커버: 비즈니스 가치 창출의 도구
유니티 카탈로그 매트릭스는 기존 BI 도구에 내재되었던 지표 정의를 데이터 플랫폼으로 통합함으로써, 모든 구성원이 SQL로 동일한 기준의 지표에 접근할 수 있는 기반을 제공합니다. 이는 데이터 기반 의사 결정의 일관성을 높이고, 조직 전체의 협업을 강화합니다. 또한 ‘디스커버’ 기능은 영업, 마케팅, 재무 등 주요 비즈니스 도메인별로 정리된 내부 마켓플레이스를 통해 고가치 자산을 탐색할 수 있는 환경을 제공합니다. 자산에는 문서, 소유자, 태그, 사용 이력 등 메타데이터가 함께 제공되어 사용자가 데이터의 맥락을 이해하고 신뢰할 수 있도록 돕습니다.
데이터브릭스 어시스턴트: 지능형 데이터 활용 지원
유니티 카탈로그는 데이터 품질, 사용 패턴, 자산 간 연관성 등 신뢰도 판단에 필요한 인텔리전스 기능을 전면에 반영했습니다. 또한 내장형 ‘데이터브릭스 어시스턴트’를 통해 자연어 기반 질문에 대해 정책 기반 맥락을 반영한 신뢰도 높은 응답을 제공합니다. 이는 사용자가 데이터를 더 쉽게 이해하고 활용할 수 있도록 돕는 핵심적인 기능입니다. 데이터브릭스 어시스턴트는 데이터 전문가뿐만 아니라 비기술 사용자도 데이터에 기반한 의사 결정을 내릴 수 있도록 지원합니다.
결론
데이터브릭스의 유니티 카탈로그 업데이트는 데이터 거버넌스의 새로운 표준을 제시하고, 비즈니스 사용자의 데이터 활용 능력을 극대화하는 데 중요한 역할을 할 것으로 기대됩니다. 아파치 아이스버그 지원 강화, 비즈니스 맞춤형 기능 추가, 지능형 데이터 활용 지원 등 다양한 측면에서 혁신을 이루어냈으며, 앞으로 데이터 중심 조직으로의 전환을 가속화하는 데 기여할 것입니다. 데이터브릭스는 앞으로도 지속적인 업데이트와 기능 개선을 통해 데이터 활용의 미래를 만들어갈 것입니다.
