Ir para o conteúdo

ETL - Reunião 002⚓︎

Bom, pela falta de um nome melhor, resolvi documentar estes encontros como "ETL". Iremos apresentar os processos de ETL da SPLOR, e também discutir suas possíveis melhorias1.

Gravação do encontro

Este post tenta fazer um grande resumo do que foi conversado, mas se preferir, pode acompanhar tudo na íntegra!

No encontro do dia 16/01/2026 Vivi e eu continuamos falando sobre a fase extract do processo de ETL. Se quiser relembrar o encontro anterior, ele está disponível aqui.

Esta apresentação foi criada para organizar nosso encontros.

mkslides

Foi utilizado a ferramenta Python mkslides para criação de nossa apresentação. Você pode conferir o código no repositório splor-mg/apresentacoes. Ela é baseada no template reveal.js. Se tiver alguma dúvida, só deixar um comentário abaixo.

Extract - Contexto explor⚓︎

  • Vivi mostrou o código que ela criou para buscar os arquivos no e-mail.
  • Gabriel mostrou o código que ele criou para buscar os arquivos no e-mail.
Gerenciamento de dependências (Poetry) 
# Iniciar um novo projeto com estrutura de pastas pronta
poetry new nome-do-projeto

# Iniciar o Poetry em uma pasta já existente
poetry init

# Instalar dependências (ex: bibliotecas para variáveis de ambiente e testes)
poetry add python-dotenv taskipy pytest

# Ativar o ambiente virtual criado pelo Poetry
# Necessário instalar o plugin https://github.com/python-poetry/poetry-plugin-shell
poetry shell

Para testar alguns códigos criamos o repositório monitora-email. Ali, criamos um script para enviar e-mail automaticamente.

Se você chegou até aqui, porque não tentar tentar reproduzir este código!

🏁 Conclusão e Próximos Passos⚓︎

Esta reunião foi fundamental para alinhar a estrutura de nossos repositórios e desmistificar o uso de ferramentas como Docker e Poetry no nosso fluxo de trabalho. Conseguimos validar com sucesso a automação de disparos de e-mail e entender a importância da segurança das credenciais via variáveis de ambiente.

O foco agora é consolidar o aprendizado prático desta semana. Na próxima reunião, avançaremos no pipeline de dados, focando especificamente no processo de transformação.

  1. Também estamos discutindo estas melhorias/simplificações neste Issue. ↩

Comentários