Como usar a API de Dados Abertos para identificar contratações de um CATMAT específico?

[Monika]

Caros colegas, boa tarde!

Estou auxiliando um pesquisador da nossa unidade no levantamento de dados sobre compras governamentais de um determinado medicamento (CATMAT 443435). Ele havia iniciado o levantamento através de consulta de Atas SRP, pelo sistema de gestão de atas antigo. Esbarrando em alguns conceitos, ele nos procurou para ajudarmos.
Sugeri a consulta através das bases de dados abertos de compras governamentais porque conseguiria dados de compras por outras modalidades e das atas não visíveis no sistema de gestão SRP antigo (da nova lei, que a gente consegue consultar de forma mais completa com acesso por senha).

Indiquei a busca pelo link Swagger UI .

Porém não entendemos muito de programação e como ordenar os dados de maneira mais pedagógica.

Acredito que devemos utilizar os módulos:

/modulo-legado/6_consultarCompraItensSemLicitacao

/modulo-legado/4_consultarItensPregoes

/modulo-contratacoes/2_consultarItensContratacoes_PNCP_14133

/modulo-arp/2_consultarARPItem

Seria isso?

Se colocarmos apenas o ano e o CATMAT buscado, por exemplo, para itens de compra sem licitação (legado), ele me retorna a Request URL:

https://dadosabertos.compras.gov.br/modulo-legado/6_consultarCompraItensSemLicitacao?pagina=1&tamanhoPagina=10&dt_ano_aviso_licitacao=2020&co_conjunto_materiais=443435

e um Response body para download, que posso salvar em xlxs e gerar uma planilha. Mas ela vem toda desconfigurada, dificultando a separação das compras e compreensão dos dados.

Alguém conseguiria me dar um auxilio sobre o melhor modo de formatar isso e se esse caminho é mesmo a melhor forma de coletar dados para essa pesquisa? Ele precisará usar dados de acesso público.

Muito obrigada novamente por todo auxilio.

Monika Marins
Instituto de Bioquímica Médica Leopoldo de Meis/UFRJ

[DiegoFGarcia]

@Monika,

O arquivo que você baixa no Swagger UI vem no forma JSON. Você precisa converter para CSV, antes de abrir como planilha. Essa ferramenta pode te ajudar: JSON To CSV Converter. É bem intuitiva.

Se for uma demanda institucional, você também pode entrar em contato com a Área de TI, se houver. Pedir para criarem um script que baixa os arquivos, converte e salva em uma pasta compartilhada (ETL), por exemplo.

[Monika]

@DiegoFGarcia , Valiosa sua dica!
Já testei a ferramenta e auxiliou bastante na organização dos dados.

Muito obrigada!

[marcelo.meira]

@Monika indico esse código. Na página há orientações suficientes para que o usuário possa executar a consulta, sem a necessidade de ser um programador.

Planilha automatizada para Pesquisa de Preços - P3

[FranklinBrasil]

Tem um jeito mais fácil.

Usando esse Link de API para Pesquisa de Preços:

Streamlit

Os dados podem ser exportados em CSV e carregados no Excel. Suponho que as colunas disponíveis possam ser suficientes para a pesquisa pretendida.

[Monika]

@FranklinBrasil , como sempre com auxílio precioso! Obrigada.

De fato bem menos complexo.

Fiquei apenas com uma dificuldade de interpretar corretamente alguns dados.

Há algumas colunas que sinalizam sobre datas.
Exemplo:

dataCompra	dataHoraAtualizacaoCompra	dataHoraAtualizacaoItem	dataResultado	dataHoraAtualizacaoUasg
2022-03-31T03:00:00.000+00:00	2023-04-01T03:30:00,053	2023-04-01T04:00:00,051	2022-03-31T03:00:00.000+00:00	2019-12-15T15:05:00
2023-04-12T03:00:00.000+00:00	2024-04-13T03:29:59,893	2024-04-13T03:59:59,878	2023-04-12T03:00:00.000+00:00	2025-03-18T17:23:00
2022-04-06T03:00:00.000+00:00	2023-04-07T03:30:00,050	2023-04-07T04:00:00,049	2022-04-06T03:00:00.000+00:00	2025-03-18T16:15:00
2023-04-10T03:00:00.000+00:00	2024-04-11T03:29:59,862	2024-04-11T03:59:59,845	2023-04-10T03:00:00.000+00:00	2025-01-30T13:48:00
2022-04-13T03:00:00.000+00:00	2023-04-14T03:30:00,046	2023-04-14T04:00:00,046	2022-04-13T03:00:00.000+00:00	2024-10-06T11:09:00

Precisamos elencar a compra como efetivada por ano.
Qual coluna consideraria? Conseguiria diferenciar?

Outra questão: Os dados que alimentam a planilha são extraídos apenas de Atas SRP? Curiosamente, pela tabela gerada, todos os itens do CATMAT foram de compras na forma SISRP. Mas tínhamos conseguido identificar anteriormente contratações por compra direta.

[Monika]

@marcelo.meira muito obrigada pela contribuição!
Não conhecia a ferramenta.
Vamos explorá-la!

[FranklinBrasil]

Olá, @Monika

No Comprasnet, “data da compra” em geral é a mesma que a “data de resultado”, que se refere à homologação do item.

As colunas de “dataAtualização” eu suponho que se refiram ao uso efetivo da Ata, talvez a data mais recente em que houve pedido efetivo do item. Por isso a diferença grande entre “data da compra” (homologação) e “dataAtualização” (efetivo pedido do item, utilização da Ata)

Isso tem a ver com a sua outra pergunta. Nem todos os itens são SRP, pelo menos nas busca que faço. Alguns (poucos) são SISPP. E nesse caso a diferença entre a “data da compra” e “dataAtualização” é pequena, corroborando a suposição de que “atualização” é o efetivo pedido do item.

[DiegoFGarcia]

@Monika

No manual da API de compras tem uma espécie de dicionário dos dados de retorno. Acredito que existe uma consistência entre os sistemas:

Link para o documento: https://www.gov.br/compras/pt-br/acesso-a-informacao/manuais/manual-dados-abertos/manual-api-compras.pdf

Por aqui nós usamos um script em linguagem python para recuperar as compras do PNCP.

[FranklinBrasil]

Conta mais sobre essa raspagem, @DiegoFGarcia

Conseguem consolidar os dados em nível de item?

[DiegoFGarcia]

@FranklinBrasil,

Na verdade, ainda estamos começando por aqui. A transparência ativa está na estratégia, adotamos novas tecnologias e estamos revisando normas internas, incluindo o tratamento sobre dados abertos. Então, basicamente, consolidamos as compras do órgão em um formato aberto para oferta em: Contratações - Conjunto de dados - Portal de Dados Abertos da CLDF.

Mas agora, após seu comentário, vou explorar a possibilidade de consultas mais complexas, no nível de item de compra.

Temos como referência, entre os portais, https://dados.mg.gov.br/.

[FranklinBrasil]

Bacana, @DiegoFGarcia

Toda grande caminhada começa com o primeiro passo. É importante aprender a lidar com os dados do PNCP, entender sua estrutura e como concatenar suas diversas bases. Chegar ao nível do item é um desafio.

Para essa tarefa de transparência da CLDF não seria viável direcionar para o Painel do PCNP em Números?

Por exemplo, filtrando a CLDF no Painel, os grandes dados atuais são esses

E ainda tem uma tabela com todas as contratações, que pode ser exportada na totalidade ou acessada individualmente cada contratação para conhecer detalhes.