IA para analisar PDF: no que três modelos Claude erraram

O teste foi feito em 3 de novembro de 2026. É um retrato do momento, e os modelos mudam, então trate como evidência de um dia e não como um ranking definitivo.

Criamos nós mesmos três PDFs fictícios:

• um contrato de aluguel de 1 página,
• um extrato no estilo bancário de 1 página, com um erro proposital de 100.00 no saldo final,
• um relatório de pesquisa de 1 página com uma tabela.

Escrevemos três perguntas por arquivo, nove no total. Cada pergunta foi feita numa conversa nova, com o mesmo prompt de sistema que a ferramenta de PDF usa e com o texto extraído do PDF, o mesmo caminho de extração de texto do app.

Uma ressalva sobre o tempo: chamamos as APIs das empresas diretamente, não dentro do app, então os tempos de resposta são apenas indicativos. As saídas brutas ficam guardadas no nosso repositório.

Testamos três modelos, todos oferecidos no app: Claude Haiku 4.5 (5 Gems por mensagem), Claude Sonnet 4.6 (5 Gems) e Claude Opus 4.7 (25 Gems, só em planos pagos).

Não testamos GPT-4o mini, GPT-5, Gemini 2.5 Flash Lite nem Gemini 2.5 Pro, porque nossas contas de API de teste da OpenAI e do Google não estavam utilizáveis naquele dia. Também não testamos DeepSeek V4 Flash, Grok 4.3 nem GPT-5 Pro, porque não tínhamos chave de teste.

Portanto esta página não diz nada sobre como esses modelos leem PDFs. Não fazemos ranking deles, e comparar Claude com GPT pediria um segundo teste.

Perguntamos: "O saldo final bate com o saldo inicial mais as transações?" A resposta certa é não. As transações somam 3,241.52, e o extrato diz 3,141.52. As respostas abaixo foram traduzidas por nós (tradução nossa).

O Haiku errou. Ele somou as transações em 801.37 em vez de 901.37 e respondeu "Sim, batem perfeitamente." Um sim confiante sobre uma soma errada é o pior tipo de erro.

O Sonnet acertou: "Há uma discrepância de €100.00".

O Opus também acertou: "Não, o saldo final não bate." Ele também notou que a diferença é igual à linha de saque de 100.00 no caixa eletrônico.

Foi a única falha clara do teste, e foi aritmética sobre muitas linhas, não achar um fato.

Prazo de renovação. O contrato termina em 28 de fevereiro de 2027 e exige aviso 60 dias antes. Sonnet e Opus disseram 30 de dezembro de 2026. O Haiku disse 29 de dezembro de 2026, um dia antes, o que lhe custou meio ponto. O Opus acrescentou que o contrato não diz se o aviso vale na data de envio ou na de recebimento. Foi uma observação útil, e os outros não a fizeram.

Sair antes, em 31 de outubro. Os três chegaram a dois meses de aluguel, 2,900.00. Mas Haiku e Sonnet escreveram com um símbolo de libra, e o contrato nunca usa um: não tem moeda nenhuma. O Sonnet também citou "(p. 2.1)", um número de cláusula escrito como se fosse uma página.

O proprietário pode aumentar o aluguel durante o contrato? O contrato é omisso. Haiku e Opus disseram que o documento não trata disso. O Sonnet disse que não há cláusula que permita, o que é uma leitura um pouco mais forte do que o texto sustenta. Silêncio num documento não é o mesmo que proibição.

Os três acertaram as três perguntas do relatório. O relatório dizia que 468 pessoas começaram a pesquisa e 412 respostas completas foram mantidas. Ele constatou que os ciclistas dormiam 0,7 hora a mais, e que isso é uma associação, não uma causa. Todos os modelos leram a tabela e mantiveram clara a diferença entre causa e associação.

Consultar informações num arquivo limpo de uma página foi fácil para todos os modelos que testamos.

Isto é o que o teste sustenta, e nada além.

• Consultas são fáceis. Todos os modelos acharam os valores e as cláusulas certas.
• Aritmética sobre muitas linhas é onde o modelo mais barato escorregou. Para totais e conciliações, use o Sonnet ou refaça a soma você mesmo.
• Todo modelo pode acrescentar pequenos detalhes inventados. Um símbolo de libra que o contrato nunca usou, um número de cláusula escrito como página. Confira cada resposta na página.
• O Opus custa cinco vezes o Sonnet e não foi mais preciso aqui. Foi mais cuidadoso na redação, por exemplo na questão do aviso.
• Perguntas rápidas. Um modelo rápido a 1 Gem por mensagem é um bom ponto de partida, mas não testamos nenhum desta vez, então não dá para dizer como ele se sai.

Para mais hábitos que facilitam a conferência das respostas, veja como conversar com um PDF. Se você está comparando ferramentas de PDF e não modelos, veja a comparação de alternativas ao ChatPDF. Se o seu PDF é uma tabela, PDF para CSV com IA mostra como tirar os números com limpeza, e o aviso sobre totais acima vale ali também.

Alguns hábitos causam a maioria das respostas ruins, e nenhum depende do modelo.

• Pedir um total sem as linhas. Se o modelo precisa somar vários valores de uma vez, peça que liste cada linha e mostre a soma. Depois confira a soma.
• Confiar num sim seco. Um "Sim, batem" curto não dá nada para conferir. Peça os números por trás da resposta.
• Ler silêncio como permissão. Se um documento não menciona mudança de preço, isso não quer dizer que ela é proibida nem permitida. Peça ao modelo que avise quando o arquivo é omisso.
• Enviar um escaneado. A ferramenta lê só texto. Se você não consegue selecionar uma frase no seu leitor, o modelo não tem o que ler, e não há OCR.
• Pedir tudo numa mensagem só. Faça uma pergunta estreita por vez: uma consulta, uma soma, uma citação. Respostas estreitas são mais fáceis de conferir.
• Anexar arquivos de que você não precisa. Você pode enviar até 4 arquivos por mensagem, de cerca de 5,7 MB cada, no máximo. Mais texto é mais coisa para o modelo confundir. Anexe só os arquivos que importam para a pergunta.

Faça a mesma pergunta a dois modelos e compare. Quando eles discordam, como Haiku e Sonnet no saldo, você achou a linha que vale conferir à mão.

Peça que a soma ou a conta de datas seja mostrada, para você acompanhar. Peça a frase citada e procure-a na página. Uma citação que você encontra vale mais que um parágrafo confiante.

Uma mensagem custa o nível do modelo em Gems, não importa quantos arquivos você anexe, e você vê o custo antes de enviar. O PDF vai ao provedor do modelo que você escolheu e é enviado de novo a cada mensagem. Veja todos os modelos para a lista completa.