Refatoração de Código

Implementamos projetos de dados em diferentes clientes em diversos continentes

Refatoração de Código

Refatoração de Código & Arquitetura de Engenharia de Dados

Contexto:

Nosso cliente mantém um SaaS com código legado escrito em php, onde os jobs de engenharia de dados eram todos orquestrados com cron jobs, impossibilitando a gestão e intolerância a falhas, não possui mecanismos de retry, e a visualização de logs era primitiva e de difícil acesso.

Desafio:

O código mantinha alta dependência de desenvolvedores específicos devido à linguagem PHP, dificultando manutenção e apresentava falhas constantes em integrações com APIs e a dificuldade para monitorar a execução dos scripts.

Solução:

Implementamos o Apache Airflow para orquestração dos pipelines de dados, todos os pipelines de dados foram rescritos na linguagem GO, para foco em otimização de performance, refatoração completa dos módulos principais, aplicando boas práticas de clean code e documentação padronizada.

Diversas transformações de dados para produção de relatórios foram refatoradas em dialeto SQL para facilitar a parte analítica.

Também implementamos Github Actions para automatizar o CI/CD

Resultados:

Monitoramento dos pipelines de ETL de forma visual, politicas de retry facilmente acionáveis, automação de deploy, fácil acoplamento de novos pipelines, devido à código reutilizável.

Conclusão:

A empresa hoje consegue evoluir seus produtos digitais sem “gargalos” técnicos, garantindo agilidade e qualidade.