Refatoração de plataforma Databricks para SLA crítico

Problema

A plataforma dependia de um framework altamente complexo que dificultava a manutenção e impedia a entrega de dados dentro do SLA crítico de 15 minutos exigido pelo negócio.

Arquitetura

flowchart TB
  subgraph Antes
    A1[Framework complexo] --> A2[Manutencao dificil]
    A2 --> A3[SLA estourado > 15min]
  end
  subgraph Depois
    B1[Framework redesenhado] --> B2[PySpark + SQL otimizados]
    B2 --> B3[Orquestracao paralela]
    B3 --> B4[SLA 15min atingido]
  end
  A3 -.refatoracao.-> B1
  classDef bad fill:#1a1018,stroke:#ef4444,color:#e2e8f0
  classDef good fill:#0d1525,stroke:#10b981,color:#e2e8f0
  class A1,A2,A3 bad
  class B1,B2,B3,B4 good

Solução

• Redesenhei o framework por completo, simplificando arquitetura e manutenção.
• Otimizei transformações em PySpark e SQL (particionamento, joins, cache).
• Reestruturei a orquestração para paralelizar etapas e reduzir o caminho crítico.
• Introduzi observabilidade para acompanhar o SLA em produção.

Resultados

• SLA de 15 minutos atingido de forma consistente.
• Plataforma mais escalável, estável e fácil de manter.
• Redução significativa do esforço de manutenção da equipe.

Stack