Migração de MongoDB para o Databricks

Problema

Os dados mais críticos da empresa viviam em MongoDB, dificultando análises em escala e integração com o restante da plataforma — incluindo tabelas de transações com milhões de linhas.

Arquitetura

flowchart LR
  M[(MongoDB)] --> DF[Mongo Data Federation]
  DF --> S3[(AWS S3)]
  S3 --> SP[Spark / Databricks]
  SP --> INC[Carga incremental]
  INC --> DL[(Delta Lake)]
  classDef a fill:#0d1525,stroke:#3b82f6,color:#e2e8f0
  classDef g fill:#0d1525,stroke:#10b981,color:#e2e8f0
  class M,DF,S3,SP a
  class INC,DL g

Solução

• Uso do MongoDB Data Federation para expor os dados.
• Camada de staging em AWS S3 como ponte para o Databricks.
• Rotinas de carga incremental com Spark para processar grandes volumes.
• Materialização em Delta Lake com atualização regular.

Resultados

• Dados críticos disponíveis para análise no Lakehouse.
• Rotina regular e robusta de atualização, inclusive para transações com milhões de linhas.
• Integração do MongoDB ao restante da plataforma de dados.

Stack