데이터 마트(Data Mart) 특징 및 ETL

이번 포스팅에서는 데이터 마트(Data Mart)에 대해 알아보도록 하겠습니다. 데이터 마트는 기업이 빠르게 변화하는 환경에서 경쟁 우위를 창출하는 데 중요한 분석 도구로써 활용되고 있습니다. 빅데이터 시대가 도래해 데이터 분석의 중요성을 점점 더 깨닫고 있죠. 데이터 마트는 이러한 환경에서 정보를 효과적으로 관리하고 활용하는 데 필수적입니다. 그러면 데이터 마트의 주요 특징과 설계는 어떻게 하는지에 대해 자세히 살펴보겠습니다.

 

 

데이터 마트의 필요성

데이터 마트는 사용자 관점의 분석 데이터라고 보시면 이해가 편합니다. DW가 코스트코(Costco) 같은 창고라면 데이터 마트는 우리 가까이 있는 마트처럼 사용자에 입맛에 맞게 데이터를 제공합니다. 이전 포스팅에 Data Warehouse의 특징에 대해 알아봤습니다. 이번에는 Data Warehouse와 Data Mart의 차이점을 살펴보겠습니다. 

DW와 Mart의 차이점

Data Warehouse • 통합된 데이터로 많은 컬럼과 데이터량 • 전체적인 업무 중심의 자료 저장 및 관리 • 다양한 요구에 유연한 구조로 설계 • 정규화 모델

Data Mart • 반복적인 통계 및 검색의 요구(현업 사용자) • 주제 중심의 데이터 구성 • 검색 시 응답속도가 빨라야 함 • 다차원 모델

 

• 데이터 중심 의사결정 : 데이터 마트는 기업 내의 다양한 부서에서 발생하는 데이터를 통합하고 적절한 형태로 가공하여 의사결정자들이 신속하고 효과적으로 데이터에 접근할 수 있도록 지원합니다.
• 실시간 분석 및 대응 : 빠르게 변화하는 시장에서는 실시간으로 데이터를 분석하고 트렌드에 대응하는 능력이 핵심입니다. 
• 고객 경험 개선 : 데이터 마트는 고객 데이터를 통합하고 분석하여 개별 고객에게 맞춤형 서비스를 제공함으로써 고객 경험을 향상하는 데 기여합니다.

데이터 마트의 특징

 

• 목적별 분석형태에 따른 Data 구조 체계화
• 정보요구자의 활용Needs에 부합되도록 Summary 및 Aggregation 정보를 보관
• 기존에 정의된 Fact/Dimension 형태의 구조
• 쿼리(sql) 성능(Performance)를 고려한 비정규화 형태 유지
• 모델(구조) 설계 방향은 Performance/편의성/목적부합성/정확성이 중요함

데이터 마트 특징

 

데이터 처리(ETL) 이란

 

• 추출 (Extract) : Source Data 중 이행 대상 Data를 변환이 가능한 상태로 추출하는 일련의 작업
• 변환 (Transform) : 추출된 Source Data를 Target에 맞도록 Data를 가공함
• 적재 (Load) : Target에 맞도록 변환된 Data를 Target에 Load함
• 검증 : 추출, 변환, 적재 단계별 작업이 정상적으로 완료되었는지 확인하는 일련의 작업
• Data Cleansing : Source Data를 모델사상이나 비즈니스 규칙에 부합하도록 품질을 높이는 일련의 작업

 

ETL 주요 작업

마무리

데이터 마트를 통해 기업은 최종적으로 의사결정, 실시간 분석 및 대응, 고객 경험 개선 등의 이점을 얻을 수 있습니다. 데이터 마트까지 데이터를 만들기 위해서는 데이터를 추출, 변환, 적재해야 하는데요. 그 작업이 ETL이라고 합니다. 보통 SQL과 같은 언어로 처리합니다. 

 

* 함께 보면 좋은 글

 

데이터 마트(Data Mart) 설계 - 다차원 모델링, OLAP