Ir para o conteúdo

ETL - Reunião 006⚓︎

Bom, pela falta de um nome melhor, resolvi documentar estes encontros como "ETL". Iremos apresentar os processos de ETL da SPLOR, e também discutir suas possíveis melhorias1.

Gravação do encontro

Este post tenta fazer um grande resumo do que foi conversado, mas se preferir, pode acompanhar tudo na íntegra!

No encontro do dia 13/02/2026 continuamos falando sobre repositório reestimativa_2026. Se quiser relembrar o encontro anterior, ele está disponível aqui.

Esta apresentação foi criada para organizar nosso encontros.

mkslides

Foi utilizado a ferramenta Python mkslides para criação de nossa apresentação. Você pode conferir o código no repositório splor-mg/apresentacoes. Ela é baseada no template reveal.js. Se tiver alguma dúvida, só deixar um comentário abaixo.

Extract - Contexto explor⚓︎

  • Todos analizaram os códigos do repositório reestimativa_2026, sendo as decisões e próximos passos registrados neste comentário.

  • Conferimos as novas planilhas geradas e vimos que elas não estão iguais, o que significa que temos mais trabalho a fazer para ajustar as diferenças encontradas.

Gerenciamento de dependências (Poetry) 
# Iniciar um novo projeto com estrutura de pastas pronta
poetry new nome-do-projeto

# Iniciar o Poetry em uma pasta já existente
poetry init

# Instalar dependências (ex: bibliotecas para variáveis de ambiente e testes)
poetry add python-dotenv taskipy pytest

# Ativar o ambiente virtual criado pelo Poetry
# Necessário instalar o plugin https://github.com/python-poetry/poetry-plugin-shell
poetry shell

Para testar alguns códigos criamos o repositório monitora-email. Ali, criamos um script para enviar e-mail automaticamente.

Se você chegou até aqui, porque não tentar tentar reproduzir este código!

🏁 Conclusão e Próximos Passos⚓︎

Esta reunião foi fundamental para entender o repositório reestimativa_2026. Conseguimos definir a nova fase extract usando o pacote dpm e nos próximos encontros deveremos dar sequência ao trabalho de reestruturação de códigos da DCAF.

  1. Também estamos discutindo estas melhorias/simplificações neste Issue. ↩

Comentários