Respostas erradas da IA: como verificar fontes, cálculos e citações antes de usá-las

Respostas erradas da IA: como verificar fontes, cálculos e citações antes de usá-las

Uma resposta da IA pode chegar em poucos segundos com um número preciso, uma frase entre aspas e um link. Antes de copiá-la para um orçamento, um e-mail a um cliente ou um artigo, verifique três pontos. O link deve levar ao documento correto. O número deve resultar dos dados e da fórmula pertinentes. As palavras entre aspas devem constar na fonte e manter seu sentido no contexto.

A verificação fica mais simples quando você parte do uso que dará à resposta. Para organizar ideias, anotações a serem revisadas podem bastar. Se um número determina um valor ou uma especificação orienta uma compra, é preciso fazer uma verificação que outra pessoa consiga repetir. Este guia propõe um método para transformar uma resposta gerada em um texto ou cálculo pronto para uso.

Reconheça como uma resposta errada pode se apresentar

O perfil do NIST para IA generativa descreve o risco de respostas falsas ou incorretas apresentadas com segurança, também chamadas de alucinações. Entre os exemplos estão citações e explicações plausíveis que parecem justificar o resultado. Uma resposta pode conter um trecho correto e, logo em seguida, atribuí-lo ao documento errado. Também pode citar uma fonte autêntica e chegar a uma conclusão mais ampla do que o texto sustenta. Perfil do NIST para IA generativa, seção 2.2

Trate a resposta como material a ser examinado. Se uma frase surpreender você, procure o trecho em que ela se baseia. Faça o mesmo com as afirmações que confirmam o que você já pensava. Nos dois casos, verifique se a frase corresponde aos elementos que a sustentam.

Defina quais verificações o uso previsto exige

Pergunte quem vai ler o resultado e que decisão essa pessoa pode tomar com base nele. Uma lista para preparar uma reunião pode conter pontos que ainda precisam ser aprofundados. Uma comunicação ao cliente exige confirmar as condições prometidas e os detalhes do produto. Se um valor entrar em um orçamento, refaça o cálculo e confira os dados no documento comercial de onde vieram.

Para um texto que vai embasar uma decisão técnica, identifique também quem pode confirmar que a conclusão se aplica ao caso concreto. Uma ficha técnica pode indicar que um recurso está disponível, por exemplo, enquanto o responsável pela estação de trabalho precisa conferir o modelo, a configuração e as dependências. Antes de revisar, defina quais pontos precisam ser documentados e quais podem ficar explicitamente em aberto.

Divida a resposta em afirmações que possam ser verificadas

Divida o texto em afirmações que possam ser conferidas uma de cada vez. Uma frase como “a atualização corrige o defeito e funciona em todos os modelos” contém pelo menos dois pontos. Um se refere à correção do defeito. O outro se refere aos modelos compatíveis. O documento que confirma a correção pode listar apenas alguns dispositivos.

Anote ao lado de cada ponto qual comprovação é necessária. Pode ser uma página do manual, uma tabela, um cálculo reproduzível ou as palavras exatas de um trecho. Verifique primeiro as afirmações das quais as demais dependem. Se houver dúvida sobre o modelo exato do dispositivo, esclareça-a antes de ler as especificações para evitar reunir informações sobre outro equipamento.

Abra o link e identifique o documento

Abra o link e confira aonde ele leva. Leia o título, o autor ou a instituição, a data e a versão. Se o link abrir uma página genérica, procure o documento específico no site oficial. Se retornar um erro, tente buscar separadamente o título e o nome do autor ou da instituição. Um link quebrado, por si só, deixa em aberto a questão de o documento existir.

Para um artigo científico, confira se o DOI, quando informado, leva a um registro com título, autores e local de publicação correspondentes. A busca de metadados da Crossref permite pesquisar por título, autor ou DOI. Depois de identificar o trabalho, abra a página da editora e procure o trecho de que precisa. Busca de metadados da Crossref

Procure a fonte mais próxima da afirmação

Escolha a fonte de acordo com a pergunta. O manual do fabricante pode documentar as portas de um dispositivo. As notas de versão podem indicar quando um recurso foi introduzido. Um pedido ou registro contratual interno pode indicar qual serviço foi efetivamente adquirido. Um artigo que remete a um desses documentos pode ajudar a encontrá-lo. Para confirmar a frase, siga a referência.

Quando a resposta citar um estudo, procure o trabalho original e confira se ele mediu o fenômeno em questão. Distinga, por exemplo, um teste de laboratório de uma avaliação feita nas suas condições de trabalho. Se precisar de confirmação independente, procure outra fonte com dados ou métodos próprios. Duas páginas que reproduzem o mesmo comunicado têm a mesma origem.

Confira se a fonte realmente sustenta a frase

Localize o trecho exato no documento e leia o parágrafo ou a tabela por inteiro. Uma nota pode restringir um resultado a uma versão, a um intervalo de datas ou a um subconjunto dos casos. Informe essa condição junto da afirmação. Se uma ficha indicar compatibilidade com determinado modelo, nomeá-lo ajuda o leitor a entender quando a informação se aplica.

O documento pode tratar do mesmo assunto sem demonstrar a conclusão. Nesse caso, reescreva a frase com base no que é possível confirmar ou procure uma evidência adequada. Anote a página, a seção ou a linha da tabela. Isso facilita uma nova conferência quando o texto for encurtado ou reaproveitado em outro documento.

Verifique data, versão e escopo

Confira a que período o dado se refere e quando foi publicado ou atualizado. Para um recurso de software, anote a versão e a plataforma. Para uma condição comercial, confira o mercado, a data e o plano a que ela se aplica. Em uma série estatística, o período observado e a data de divulgação respondem a perguntas diferentes. Os metadados ajudam a interpretar a população, as variáveis e o método de coleta. Guia do Istat sobre a qualidade das estatísticas oficiais

Em pesquisas científicas, consulte os avisos da editora sobre correções e retratações. Se a publicação usar o Crossmark, o botão dá acesso às atualizações registradas para aquele trabalho. Se encontrar uma correção, verifique se ela afeta justamente o dado ou a conclusão que pretende citar. Documentação da Crossref sobre o Crossmark

Confira de qual linha veio o número

Quando a IA trouxer um número de uma tabela, identifique a linha, a coluna e a unidade indicada no cabeçalho. Em um PDF, uma tabela que continua na página seguinte pode ter cabeçalhos repetidos ou notas de rodapé. Leia a tabela no formato original, especialmente se o texto copiado perdeu o alinhamento. Confira se o valor é um total, um subtotal ou um dos itens que o compõem.

Ao transferir o dado para um resumo, preserve também os rótulos que permitem interpretá-lo. Um número retirado da coluna do trimestre pode induzir a erro se for apresentado no resumo como resultado anual. Se a tabela trouxer uma revisão do dado, anote qual versão foi usada e confira se eventuais comparações também partem da série apropriada.

Lide com fontes divergentes ou inacessíveis

Se duas fontes trouxerem valores diferentes, compare as definições, as datas, as unidades e o método antes de escolher um deles. O número de pedidos recebidos e o de pedidos atendidos, por exemplo, podem diferir mesmo no mesmo período. Se a divergência persistir, indique qual definição você precisa usar e o que conseguiu confirmar. Evite calcular uma média de valores que medem fenômenos diferentes.

Se o texto integral estiver inacessível, procure uma cópia depositada pelo autor ou uma versão disponível por meio da sua organização. Confira qual versão encontrou. Se só tiver o resumo, limite-se ao que ele permite confirmar. Se faltar o trecho decisivo, marque o ponto como pendente de verificação ou deixe-o fora do texto que será usado.

Verifique as palavras entre aspas

Abra o original e procure a frase. Confira as palavras, a pontuação, quem está falando e se a fala é atribuída a outra pessoa. Em PDFs digitalizados, a busca de texto pode deixar passar um trecho. Se tiver a referência da página, leia diretamente a imagem. Para vídeo ou áudio, ouça novamente o trecho indicado e anote o ponto da gravação.

Leia também as frases ao redor. Uma hipótese ou ressalva pode mudar o sentido de um trecho reproduzido com exatidão. Ao omitir parte da passagem, indique o corte conforme as convenções editoriais e confira se as condições essenciais continuam claras. Se não encontrar as palavras originais, deixe de fora a citação direta. Uma referência bibliográfica completa ajuda a localizar o texto e repetir a verificação.

Diferencie citação direta, tradução e paráfrase

Uma citação direta reproduz as palavras da fonte. Uma tradução apresenta o trecho em outro idioma e deve ser identificada como tal, a menos que você esteja citando uma tradução oficial e inclua a referência correspondente. Compare com o original para conferir verbos como “pode”, “deve” e “deveria”. Eles podem indicar condições ou níveis de certeza diferentes.

Ao reformular a ideia com suas próprias palavras, use uma paráfrase sem aspas e mantenha a referência ao documento. Releia as duas versões para verificar se o sentido foi preservado. Se a fonte diz que uma intervenção produziu um resultado nas condições observadas, uma paráfrase fiel mantém essas condições. Aplicar o resultado a outro contexto exige uma etapa adicional, com justificativa própria.

Confira os dados de entrada antes da fórmula

Antes de refazer um cálculo, recupere os dados originais. Para um orçamento, compare os valores com os itens da tabela de preços ou da proposta. Para um resumo interno, anote o arquivo, a aba, o período e eventuais filtros. Confira como foram tratados os registros duplicados, os valores ausentes e as quantidades excluídas. Uma célula vazia pode indicar um dado ausente. Decida como tratá-la conforme seu significado no documento.

Identifique também as premissas introduzidas pela resposta. Se o pedido falar em custo “por usuário”, confira quais usuários entram na contagem e qual período se aplica. Depois de esclarecer os dados de entrada, escreva ao lado da fórmula a origem de cada valor. Se algum dado ainda precisar de confirmação, mantenha essa incerteza no resultado.

Escreva a fórmula e refaça as contas

Reconstrua a fórmula a partir da pergunta. Se quiser o total de vários itens com quantidades diferentes, multiplique a quantidade pelo preço unitário em cada linha e some os resultados. Aplique descontos e outras condições na ordem estabelecida pelo documento de referência. Refaça a conta com uma calculadora, uma planilha ou um script que você possa examinar.

Guarde os resultados intermediários que permitem identificar a origem de uma eventual diferença. Se dois totais divergirem, compare os subtotais, as linhas incluídas e o momento em que os valores foram arredondados. Confira também se a resposta usou uma estimativa onde você dispõe de um valor exato. Um resultado reproduzível permite refazer o cálculo quando uma quantidade ou condição da proposta mudar.

Teste a fórmula com uma conta simples

Antes de aplicar uma fórmula a muitas linhas, monte um exemplo que possa ser conferido de cabeça. Em um exercício hipotético, três unidades a vinte euros cada dão um subtotal de sessenta euros. Se o exercício prevê um desconto de dez por cento sobre esse subtotal, o desconto é de seis euros e o resultado é de cinquenta e quatro euros. Insira os três valores na planilha e compare tanto o resultado quanto o desconto calculado.

Depois, teste a mesma linha com desconto zero. O resultado deve ser igual ao subtotal. Um caso simples ajuda a identificar em que ponto a fórmula interpreta mal um percentual ou aplica o desconto à base errada. Para um orçamento real, recupere os preços e as condições nos documentos pertinentes e repita a verificação nos itens que serão efetivamente incluídos.

Verifique denominadores, porcentagens e médias

Sempre registre qual total serve de base para a porcentagem. Para medir uma variação relativa, divida a diferença pelo valor inicial e multiplique por cem. Se o valor inicial for zero, essa fórmula envolve uma divisão por zero. Para descrever a diferença entre duas porcentagens, você pode usar pontos percentuais. Indique explicitamente qual medida está usando.

Para combinar porcentagens de grupos diferentes, volte às contagens, se estiverem disponíveis. Por exemplo, para calcular a proporção de chamados encerrados em dois setores, some os chamados encerrados e divida pelo total de chamados dos dois setores, desde que o período e as definições coincidam. Uma média simples das porcentagens dá o mesmo peso aos setores mesmo quando eles têm volumes diferentes.

Confira unidades, ordens de grandeza e arredondamentos

Escreva a unidade ao lado de cada número, inclusive nas etapas intermediárias. Um exemplo verificável é a conversão de metros para milímetros. O prefixo mili indica um milésimo, então um metro equivale a mil milímetros. Se o resultado usar metros e milímetros, converta os dados para a mesma unidade antes de compará-los ou somá-los. BIPM, Sistema Internacional de Unidades

Em seguida, confira se o resultado é plausível. Uma soma de quantidades positivas deve ser pelo menos igual à maior parcela. Para um valor calculado a partir de várias linhas, uma estimativa de cabeça pode revelar uma vírgula fora do lugar. Decida em que etapa arredondar e anote o critério. Se o documento de referência exigir arredondamento por linha, aplique-o na mesma etapa ao refazer a conta.

Examine as fórmulas geradas para a planilha

Antes de colar uma fórmula gerada pela IA em um arquivo de trabalho, teste-a em uma cópia. Confira as células de origem, as referências absolutas ou relativas e como a fórmula trata células vazias e erros. Teste uma linha cujo resultado você já conhece e confira o que acontece ao arrastar a fórmula ou adicionar outra linha.

No Excel, as ferramentas de auditoria de fórmulas permitem rastrear as células das quais o resultado depende e, nas versões indicadas pela Microsoft, avaliar uma fórmula aninhada passo a passo. Use essas ferramentas para descobrir, por exemplo, se um subtotal termina na penúltima linha ou se uma condição faz a fórmula seguir o caminho errado. Microsoft, relações entre fórmulas e células Microsoft, avaliação de uma fórmula aninhada

Acompanhe um exemplo da resposta à correção

Suponha que uma resposta atribua a um manual a frase “todos os modelos são compatíveis com duas telas externas”. Trate-a como uma afirmação a verificar. Abra o manual, procure a seção sobre telas e leia a tabela do modelo em uso. Se ela indicar que a segunda tela é compatível apenas com uma determinada configuração, inclua essa condição e retire as aspas se tiver reescrito o trecho.

Se a mesma resposta propuser um custo para montar as estações de trabalho, verifique separadamente as quantidades, os preços unitários e os itens incluídos. Um acessório exigido pela configuração documentada pode afetar o total. Atualize primeiro a lista de componentes e depois refaça a soma. A conferência da fonte muda quais dados entram no cálculo.

Use a IA para preparar a verificação

Você pode pedir à IA que liste as afirmações factuais, proponha termos de busca ou explicite as premissas de uma fórmula. Se fornecer um documento, peça que indique a página ou seção que sustenta cada afirmação e sinalize os pontos para os quais não encontra um trecho correspondente. Use as referências como indicações para abrir as fontes e verificá-las. OpenAI, limitações das respostas e verificação de informações

Se pedir a outro modelo que revise a mesma resposta, use eventuais objeções para orientar a revisão. A confirmação vem do texto original, dos dados ou do cálculo refeito. Para documentos da empresa, use as ferramentas e os materiais cujo compartilhamento a organização autoriza. Quando for suficiente testar uma fórmula, faça isso com dados de teste e aplique-a localmente aos dados reais depois da verificação.

Deixe um registro para a revisão

Para os pontos decisivos, anote a frase verificada, o endereço da fonte, a página ou seção, a versão e a data da conferência. Para um número, acrescente os dados de entrada, a fórmula e o resultado do novo cálculo. Indique quem verificou o resultado quando o documento passar de uma pessoa para outra. Uma anotação breve basta se permitir localizar os elementos usados.

Antes de enviar, releia também os títulos, os gráficos, as legendas e os resumos. Uma ressalva que aparece no corpo do texto pode sumir do título. Um valor corrigido na planilha pode continuar errado no slide se tiver sido copiado antes da revisão. Corrija todas as ocorrências e sinalize os pontos pendentes para quem vai aprovar o documento.

Lista de verificação antes de usar uma resposta

Para um texto ou cálculo que será compartilhado, confira estes pontos.

  • Cada afirmação importante tem uma comprovação identificável.
  • Os links levam aos documentos corretos, e os trechos sustentam as afirmações correspondentes.
  • A data, a versão, a população e as condições correspondem ao uso previsto.
  • As citações diretas foram comparadas com o original e lidas no contexto.
  • Os dados de entrada, a fórmula, os denominadores, as unidades e os arredondamentos estão explícitos.
  • O resultado foi recalculado, e todas as ocorrências no documento final estão atualizadas.
  • As incertezas restantes foram declaradas, encaminhadas a quem deve verificá-las ou retiradas da versão que será usada.

Adapte a lista à decisão. Um único dado pode exigir mais tempo do que todo o restante quando determina um custo, um compromisso ou uma escolha técnica.

Perguntas frequentes

Se a IA incluir um link, posso citar a fonte?

Abra o link e confira o título, o autor ou a instituição, a data e o conteúdo. Procure o trecho que sustenta a afirmação e guarde uma referência precisa. Se encontrar um documento pertinente que sustenta uma conclusão mais restrita, ajuste a frase antes de citá-lo.

O que faço se o cálculo der o mesmo resultado em duas ferramentas?

Confira se ambas receberam os dados corretos e aplicaram a fórmula adequada à pergunta. Duas ferramentas podem chegar ao mesmo total por usarem a mesma premissa. Volte à origem dos números e verifique pelo menos uma etapa intermediária e o critério de arredondamento.

Posso usar uma citação que só encontro reproduzida por outras pessoas?

Procure o original e confira a atribuição e o contexto. Se só tiver acesso a uma fonte secundária, indique que a atribuição vem dessa fonte e limite o texto ao que consegue verificar. Se as palavras exatas forem decisivas, aguarde até ter uma confirmação direta.

Preciso refazer todas as verificações quando o texto é atualizado?

Repita as verificações afetadas pela atualização. Se um dado de entrada mudar, atualize os cálculos, gráficos e afirmações que dependem dele. Se a fonte mudar, confira o trecho e o escopo a que se aplica. Anote a nova versão para evitar que uma cópia anterior circule como a versão verificada.

Conclusão

Antes de usar uma resposta da IA, volte aos documentos, aos dados e às etapas dos quais ela depende. Abra as fontes e leia o que sustenta a afirmação. Refaça os cálculos com dados de entrada, unidades e fórmulas explícitos. Nas citações diretas, compare as palavras com o original e inclua o contexto necessário.

Guarde informações suficientes para que um colega possa repetir a verificação. Se um ponto decisivo continuar sem comprovação, corrija a frase, declare a incerteza ou adie o uso do resultado. A verificação termina quando o texto final reflete o que você conseguiu confirmar.

Quer aprofundar esse tema na sua empresa? A Azienda Digitale pode ajudar você a avaliar as soluções mais adequadas e colocá-las em prática. Azienda Digitale

Lascia un commento

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

O comentário ficará visível após aprovação do administrador.

Il commento sara visibile dopo approvazione dell amministratore.