데이터웨어하우스2 데이터웨어하우스(DW) 어떻게 처리 할까? - STG, ODS, DW, Mart 이번 포스팅에서는 데이터 웨어하우스(DW)에서 어떻게 데이터를 처리하는지를 알아보도록 하겠습니다. Legacy 등 원시 데이터를 DW에서 활용할 수 있는 데이터로 변환하는 몇 가지 단계가 있습니다. 이 프로세스의 네 가지 중요한 단계가 있습니다. 바로 Staging, ODS, Data Warehouse, Data Mart 입니다. 각 단계에 대해 살펴보도록 하겠습니다. Staging 원본 데이터를 아무런 변화 없이 그대로 넣어두는 저장공간을 말합니다. 이유는 소스 시스템과 DW 사이에 일관성있게 인터페이스 되었는지 확인하기 용이하게 때문입니다. 다양한 외부 데이터를 보관하기 위한 영역 아무런 변화없이 그대로 로딩하는 공간 임시로 데이터를 보관하기 때문에 배치로 수집된 1일 데이터만 존재 원본 데이터와 데.. 2023. 12. 12. 데이터웨어하우스(DW)는 왜 필요했나? 이번 포스팅에서는 데이터웨어하우스에 대해 알아보도록 하겠습니다. Data Warehouse, 즉 DW는 막연한 경험이나 불완전한 데이터에 의존하지 말고 정확한 사실에 근거하자는 생각에서 태어났습니다. 합리적인 의사 결정을 도와주는 지원 시스템이라고 생각할 수 있죠. 클라우드 시대가 오면서 Amazon Redshift, Databricks와 같은 솔루션들도 나오기 시작했습니다. 그리고 이와 유사한 Data Lake라는 개념도 나오기 시작했죠. 그러면 데이터웨어하우스의 개념과 특징에 대해 알아보도록 하겠습니다. 데이터웨어하우즈(DW) 란 DW는 업무 시스템(기간계)에서 수집된 데이터를 일관성 있게 통합된 형태로 적재하여 관리하는 역할을 합니다. 수집된 데이터를 근거한 신속하고 합리적인 의사결정을 지원하는 정.. 2023. 12. 11. 이전 1 다음
