Ir para o conteúdo

Publicação volumes LOA - Parte 1⚓︎

A equipe da Assessoria de Inteligêcia de Dados acredita que o compartilhamento de conhecimento é central para que o desenvolvimento e consolidação de melhorias se tornem uma realidade nas mais diversas equipes e organizações.

Nesse contexto, o trabalho de publicação dos volumes da LOA no ano de 2024. Este post mostra a primeira parte deste trabalho, realizado dia 16/09/2024.

Primeiro vídeo⚓︎

  1. Link vídeo1.

  2. Gravação pequena.

  3. Mostra criação da conta DockerHub da SPLOR2.

  4. Repositório volumes-docker responsável pela criação da imagem docker utilizada na geração dos volumes da LOA e do PPAG.

    • Resgata versões e dependências necessárias para rodar o projeto.
    • Sem estas versões projeto não funciona, o que significa que o código fonte não pode sofrer atualização de versões das ferramentas utilizadas.
      • Essa regra não se aplica para as dependências listadas no arquivo requeriments.in atualizado pelo comando uv pip compile requirements.in > requirements.txt, pois dependências Python foram incluídas posteriormente como forma de melhorar o projeto (incluindo testes automatizadas, por exemplo).

Segundo vídeo⚓︎

  1. Link vídeo1.
  2. No repositório volumes-docker local rodar comando responsável por buildar a imagem docker a ser utilizada.
    • Comando descrito no READMDE.md do projeto.
    • Comando make image=ploa2025 relatorios=v0.7.64 execucao=v0.5.22 reest=v0.2.6
    • Necessário arquivo .env com secrets.
      • Incluir variáveis de ambiente, mesmo em um repo privado, pode ser perigoso. Algum acesso não autorizado à organização pode encontrar estas informações.
    • No vídeo, Francisco atualiza a versão do pacote relatórios.
      • Segundo equipe a informação da versão do pacote relatórios a ser utilizada é dada pela DCMEFO.
    • A imagem gerada deve ser encaminhada para o DockerHub (esta ação não foi automatizada).
    • Erro apresentado durante processo não reconhecendo a flag --secret no Windows.
    • /home/rstudio é o diretório dentro do container criado a partir da imagem docker onde o processo de geração dos volumes ocorrerá.
  3. Arquivo data.toml do repositório volumes-loa é a lista de dependências de datapackages.
  4. Repositório local volumes-loa será usado para ligar container via comando make docker. Ou seja, ele usa os arquivos/scripts deste repositório dentro do container.
  5. Conferir se a versão da imagem utilizada para gerar o container é a mais atualizada no dockerhub.
  6. Orientações README.md do repositório volumes-loa é, atualmente, a melhor referência dos passos a serem seguidos. Foi criado este issue como referência para os próximos anos. Possível fonte para um Issue template.
  7. Atualização dados repositório dados-volumes-loa.
    • make extract para extrair arquivos pasta Sharepoint para repositório.
    • Não entendi como o script (python ou R) baixa arquivos no Sharepoint.
    • Alguns arquivos não foram encontrados e para não ficar travado neste erro os arquivos de 2023 foram utilizados. Para isso foi aberto este issue.
    • Caminho para arquivos no Sharepoint aceitou espaços.
    • make validate valida os arquivos baixados. No vídeo alguns arquivos apresentaram nomes de colunas diferentes. Este issue foi aberto.
  8. Daniel sugere iniciar a geração dos volumes do último para o primeiro. Orientação registrada no README.md. Francisco mostra a geração de volume por volume (apaga o volume e gera novamente, exemplo make rm vol=6 e make v6).
  9. volumes-loa tem um target make check para testes (checa diferenças entre volumes gerados e novas gerações). Check não funcionará na geração do próximo ano (somente quando primeiro volume do próximo ano for finalizado).

Achados diversos⚓︎

  • New codeblock shortcut no Github: Ctrl+E.
  • Frase Francisco: Não precisamos ter medo de modificar o projeto volumes-loa, mas não vamos atualizá-lo ativamente.
  • Utilizar 1. para todos os itens de uma lista markdown ordenada, simplificando a manutenção.
  • Andrey comenta que arquivos .Rnw são arquivos R misturados com latex.

  1. Por conter informações sensíveis este vídeo não está aberto a todos. Caso precise, entre em contato com os responsáveis da equipe solicitando acesso ↩↩

  2. Informações de acesso disponível no repo privado acessos-aid. ↩

Comentários