Ir para o conteúdo

ETL - Reunião 007⚓︎

No encontro, revisamos o progresso no repositório "reestimativa_2026" e adicionamos a base "exec_alem_credito" no projeto.

Apresentamos os processos de ETL da SPLOR e discutimos possíveis melhorias1.

Gravação do encontro

Este post tenta fazer um grande resumo do que foi conversado, mas se preferir, pode acompanhar tudo na íntegra!

Discussão⚓︎

Nova integrante⚓︎

No encontro do dia 27/02/2026, foi apresentada a nova integrante "Maria Eduarda" do time, que, inicialmente, irá estudar o repositório do Reestimativa, para auxiliar na refatoração dos códigos em R para scripts em Python.

Atividade realizada⚓︎

Para revisão do progresso, a Laura mostrou os scripts Python criados para processar as bases da AID. A comparação entre a base gerada originalmente com a base atual deu 100% de acerto para os testes.

Dica

Para mais detalhes, veja o comentário.

Consulta no BO⚓︎

Além disso, foi utilizado o BO para criar uma nova consulta sobre o "além crédito", bem como agendar a entrega por e-mail no formado .csv. Assim, foi incluída a nova base "exec_alem_credito" no projeto.

Observações⚓︎

  1. Momentanemante, a coluna "uo_sigla" foi adicionada diretamente na consulta do BO, mas isso não é o ideal. Deverá ainda ser analisada qual a melhor solução.

    Dica

    Para mais detalhes, veja o issue.

  2. Durante a consulta no BO, apesar de adicionar o filtro "Ano de Exercício igual a 2026", a consulta retornou os anos 2025 e 2026.

  3. Além disso, descobrimos que, ao enviar como .csv (ao invés de .xlsx), o nome das colunas fica correta, não sendo necessário transformá-las (ex.: a "uo_sigla" aparece como "Unidade Orçamentária - Sigla").

Resultados⚓︎

A nova tabela foi testada e inserida no repositório, sendo retornada corretamente. Para isso, foi executado o comando a seguir:

frictionless describe data-raw/exec_alem_credito.csv --yaml

O texto retornado no terminal foi adicionado no "datapackage.yaml" e no novo schema "exec_alem_credito.yaml".

Para validação, foi executado o comando a seugir:

frictionless validate data-raw/exec_alem_credito.yaml

Foi mostrado ainda que os arquivos são salvos em branco, pois eles costumam ser grandes. Então, ao rodar a validação do "datapackage.yaml", adicionando uma regra nos valores, será retornado erro.

🏁 Próximos Passos⚓︎

Para a próxima reunião:

  • O Gabriel irá criar um novo repositório para unificar os Data Packages e ajustar todas as consultas do BO para o novo padrão, servindo como ambiente de testes.

  • A Laura irá finalizar o mapeamento das colunas.

  • Em conjunto, será analisado o comando make copy_exec, que será substituído.

  1. Também estamos documentando estas melhorias/simplificações neste Issue. ↩

Comentários