Antes de fechar a conversa com a IA… faça uma auditoria na própria IA
Comunidade Nelquiana,
Vi uma discussão interessante sobre uso da IA: não encerrar uma conversa sem antes pedir que a própria IA critique o que acabou de produzir.
Parece simples, mas faz bastante diferença.
Em vez de terminar a sessão com um “obrigado”, experimente encerrar com perguntas como:
Sobre o que você está menos confiante nesta resposta?
O que eu posso estar deixando passar nesta situação?
Essas perguntas mudam o comportamento do modelo. Em vez de continuar tentando convencer você de que a resposta está perfeita, ele passa a procurar:
-
premissas frágeis;
-
informações que não verificou;
-
riscos que foram ignorados;
-
hipóteses assumidas sem perceber;
-
evidências que ainda precisariam ser confirmadas.
Na prática, é como pedir para a IA deixar de ser autora e passar a atuar como revisora.
Dá para ir além…
Durante a discussão apareceram outras ideias interessantes.
Algumas das que achei mais úteis:
O que eu poderia ter feito diferente nesta conversa para obter uma resposta melhor, mais rápida ou mais confiável?
Bom para apontar lacunas no prompt, documentos que deveriam ter sido fornecidos, perguntas que deveriam ter vindo antes e instruções que atrapalharam.
Se essa coisa der errado daqui a três meses, qual será a causa mais provável?
Excelente para identificar riscos de implementação.
Quais recomendações suas ficaram mais frágeis depois que aprofundamos o contexto?
Muito útil em conversas longas, quando algumas conclusões foram tomadas cedo demais.
Quais afirmações desta resposta realmente precisam de evidências ou fontes?
Ótimo para separar fatos de inferências.
Quais premissas você assumiu sem declarar explicitamente?
Esse talvez seja meu favorito.
Grande parte dos erros dos LLMs não nasce de “alucinações”, mas de premissas implícitas que passam despercebidas.
Uma técnica de revisão limpa
Outra sugestão é copiar a resposta final para uma nova conversa e pedir:
“Avalie criticamente esta resposta. O que foi esquecido? Onde ela pode estar errada?”
Como a nova conversa não está “emocionalmente comprometida” com todo o histórico anterior, muitas vezes ela enxerga problemas que passaram despercebidos.
E nas compras públicas?
Fiquei imaginando aplicações práticas.
Antes de concluir um ETP, um TR ou uma nota técnica, poderíamos perguntar, por exemplo:
-
O que estou deixando de considerar sobre esta contratação?
-
Quais riscos relevantes não foram analisados?
-
Quais premissas podem estar equivocadas?
-
Que informação adicional mudaria significativamente esta conclusão?
-
Quais afirmações ainda dependem de evidências?
-
Que evidência resolveria essa dúvida?
Não substitui revisão humana.
Mas pode funcionar como um excelente checklist inteligente de encerramento.
Preparei um pequeno infográfico resumindo essas técnicas no ambiente de compras:
Se alguém testar no ChatGPT, Claude, Gemini, NelcaLM ou outro modelo, compartilhe aqui os resultados.
Tenho a impressão de que esse tipo de “auditoria da IA pela própria IA” tende a se tornar um hábito tão importante quanto aprender a escrever bons prompts.
P.S.
Curiosamente, essa ideia conversa bastante com algo que já discutimos aqui no Nelca: metaprompting. Em vez de apenas pedir respostas melhores, passamos a pedir que a IA reflita sobre como respondeu, quais limitações teve e o que poderia melhorar. Em muitos casos, esse passo final vale mais do que o prompt inicial.
Uma reflexão final:
Essas dicas de fechamento ajudam. Mas tem algo ainda melhor: ensinar a IA a nos perguntar o contexto antes de presumir. Prevenir em vez de remediar.