🏗️ Data Warehouse, Data Lake e Data Lakehouse
Data Warehouse, Data Lake e Data Lakehouse
Etapas para Implementação de um DW:
- Identificação de Requisitos
- Projeto e Arquitetura
- Integração
- Construção
- Carga de Dados
- Agendar Atualizações
- Acesso e Segurança
- Monitoramento
- Usar Data Marts
- Manutenção do Modelo de Dados
Etapas para Implementação de um DL:
- Identificação de Requisitos
- Escolher uma plataforma
- Integração
- Armazenamento
- Agendamento
- Acesso
- Governança de Dados
Etapas para Implementação de um Data Lakehouse:
- Identificação de Requisitos
- Escolher uma plataforma
- Integração
- Armazenamento
- Governança de Dados, Atualizações e Monitoramento
Data Warehouse (DW)
Vantagens:
- Dados estruturados e limpos
- Performance
- Governança de dados
- Capacidade de suportar demandas de negócio
Desvantagens:
- Caro e complexo
- Limpeza e modelagem antes da carga
- Restringe a capacidade de armazenar grandes volumes de dados não estruturados
- Pode ser limitado para lidar com fontes dinâmicas não estruturadas
Data Lake (DL)
Vantagens:
- Capacidade de armazenar grandes volumes de dados brutos
- Flexibilidade para armazenar diferentes tipos de dados
- Permite análise de Big Data
Desvantagens:
- Governança de dados menos robusta que um DW
- Performance de consultas menor
- Caro e complexo
- Dependência de ferramentas adicionais para limpeza e modelagem
Data Lakehouse
Vantagens:
- Combina as vantagens do DW e DL
- Capacidade de armazenar grandes volumes não estruturados e semi-estruturados
- Boa governança e performance
- Flexível e escalável
- Permite análises de Big Data, Machine Learning e IA
Desvantagens:
- Caro e complexo de implementar
- Dependência de ferramentas adicionais para limpeza e modelagem
- Conceito recente no mercado, precisando de evolução e maturidade
Enterprise Data Hub (EDH)
O Enterprise Data Hub (EDH) é uma arquitetura de dados que combina uma variedade de tecnologias e ferramentas para realizar a coleta, armazenamento, gerenciamento e análise de dados em grande escala.