ETL - Reunião 004

Bom, pela falta de um nome melhor, resolvi documentar estes encontros como "ETL". Iremos apresentar os processos de ETL da SPLOR, e também discutir suas possíveis melhorias¹.

Gravação do encontro

Este post tenta fazer um grande resumo do que foi conversado, mas se preferir, pode acompanhar tudo na íntegra!

No encontro do dia 30/01/2026 falamo sobre o pacote dpm. Se quiser relembrar o encontro anterior, ele está disponível aqui.

Esta apresentação foi criada para organizar nosso encontros.

mkslides

Foi utilizado a ferramenta Python mkslides para criação de nossa apresentação. Você pode conferir o código no repositório splor-mg/apresentacoes. Ela é baseada no template reveal.js. Se tiver alguma dúvida, só deixar um comentário abaixo.

Extract - Contexto explor

• Gabriel utilizou o comando dpm install para conjuntos públicos e privados.

Gerenciamento de dependências (Poetry)

# Iniciar um novo projeto com estrutura de pastas pronta
poetry new nome-do-projeto

# Iniciar o Poetry em uma pasta já existente
poetry init

# Instalar dependências (ex: bibliotecas para variáveis de ambiente e testes)
poetry add python-dotenv taskipy pytest

# Ativar o ambiente virtual criado pelo Poetry
# Necessário instalar o plugin https://github.com/python-poetry/poetry-plugin-shell
poetry shell

Para testar alguns códigos criamos o repositório monitora-email. Ali, criamos um script para enviar e-mail automaticamente.

Se você chegou até aqui, porque não tentar tentar reproduzir este código!

🏁 Conclusão e Próximos Passos

Esta reunião foi fundamental para alinhar e desmistificar a utilização de datapackages criados. Conseguimos baixar dados com praticamente um comando e nos próximos encontros deveremos dar sequência ao trabalho de reestruturação de códigos da DCAF.

---

1. Também estamos discutindo estas melhorias/simplificações neste Issue. ↩

Comentários