Can You Trust This AI Summary? / Pouvez-vous faire confiance à ce résumé fait par l'IA ? — The UX Research Library

The UX Research Library

EN FR

Can You Trust This AI Summary?Pouvez-vous faire confiance à ce résumé fait par l'IA ?

Five real-looking summaries. Something's wrong with each one — can you catch it before reading the answer?Cinq résumés qui semblent vrais. Quelque chose cloche dans chacun — pouvez-vous le repérer avant de lire la réponse ?

Case 1 of 5Cas 1 sur 5

Original dataDonnées originales

7 of 10 participants said they were "somewhat satisfied." 3 said "very satisfied." Nobody said they were dissatisfied.7 des 10 participants ont dit être « plutôt satisfaits ». 3 ont dit être « très satisfaits ». Personne n'a dit être insatisfait.

AI summaryRésumé de l'IA

"Participants were satisfied with the product overall."« Les participants étaient satisfaits du produit dans l'ensemble. »

What did this summary get wrong?Qu'est-ce que ce résumé a mal interprété ?

It dropped the qualifier "somewhat" — most people were satisfied with reservations, not fully satisfiedIl a supprimé le qualificatif « plutôt » — la plupart des gens étaient satisfaits avec des réserves, pas pleinement satisfaits Nothing — this is a fair summary of the dataRien — c'est un résumé fidèle des données It invented a number that wasn't in the original dataIl a inventé un chiffre qui n'était pas dans les données originales

Correct. "Somewhat satisfied" and "satisfied" are not the same finding. This is the most common failure — a real, true-sounding sentence that has quietly softened or dropped a qualifier along the way.Correct. « Plutôt satisfait » et « satisfait » ne sont pas le même résultat. C'est l'erreur la plus courante — une phrase réelle et crédible qui a discrètement adouci ou supprimé un qualificatif en cours de route.

Not quite. Read it again next to the original — 7 of 10 people qualified their satisfaction. "Satisfied" alone quietly erases that hesitation.Pas tout à fait. Relisez à côté de l'original — 7 des 10 personnes ont nuancé leur satisfaction. « Satisfait » seul efface discrètement cette hésitation.

Not quite. No numbers were invented here — the problem is subtler than a fabricated statistic. Look at the words themselves.Pas tout à fait. Aucun chiffre n'a été inventé ici — le problème est plus subtil qu'une statistique fabriquée. Regardez les mots eux-mêmes.

Case 2 of 5Cas 2 sur 5

Original dataDonnées originales

Participant A: "I gave up after the third error message." Participant B: "Honestly, the error messages were fine for me."Participant A : « J'ai abandonné après le troisième message d'erreur. » Participant B : « Honnêtement, les messages d'erreur étaient corrects pour moi. »

AI summaryRésumé de l'IA

"As Participant A noted, the error messages were generally fine, though occasionally frustrating."« Comme l'a noté le Participant A, les messages d'erreur étaient globalement corrects, bien qu'occasionnellement frustrants. »

What did this summary get wrong?Qu'est-ce que ce résumé a mal interprété ?

This is an accurate paraphrase of what was saidC'est une paraphrase fidèle de ce qui a été dit It added a participant who wasn't in the original dataCela a ajouté un participant qui n'était pas dans les données originales The sentiment got attributed to the wrong participantLe sentiment a été attribué au mauvais participant

Not quite. Check the names — Participant A is the one who gave up in frustration, not the one who found things fine.Pas tout à fait. Vérifiez les noms — le Participant A est celui qui a abandonné par frustration, pas celui qui trouvait que tout allait bien.

Not quite. No new participant was introduced — the real issue is that an existing one got misquoted and misattributed.Pas tout à fait. Aucun nouveau participant n'a été introduit — le vrai problème, c'est qu'un participant existant a été mal cité et mal attribué.

Correct. Participant B said the messages were fine; Participant A is the one who gave up. The summary swapped them and blended both into one falsely moderate opinion — attributed to the wrong person, with a tone neither of them actually expressed.Correct. Le Participant B a dit que les messages allaient bien ; le Participant A est celui qui a abandonné. Le résumé les a inversés et a fusionné les deux en une opinion faussement modérée — attribuée à la mauvaise personne, avec un ton qu'aucun des deux n'a réellement exprimé.

Case 3 of 5Cas 3 sur 5

Original dataDonnées originales

Participant: "I stopped using it after the last update." (No reason given, and none was asked.)Participant : « J'ai arrêté de l'utiliser après la dernière mise à jour. » (Aucune raison donnée, et aucune n'a été demandée.)

AI summaryRésumé de l'IA

"One participant stopped using the product after an update, likely due to the confusing new interface."« Un participant a arrêté d'utiliser le produit après une mise à jour, probablement à cause de la nouvelle interface confuse. »

What did this summary get wrong?Qu'est-ce que ce résumé a mal interprété ?

Nothing — "likely due to" is clearly framed as a guess, not a factRien — « probablement à cause de » est clairement présenté comme une supposition, pas un fait It invented a plausible-sounding reason the participant never actually gaveCela a inventé une raison plausible que le participant n'a jamais réellement donnée It understated how strongly the participant feltCela a sous-estimé à quel point le participant était contrarié

Not quite. "Likely due to" reads as hedged, but it's still presenting a reason as analysis when it's actually a fabrication — the participant never mentioned the interface at all.Pas tout à fait. « Probablement à cause de » se lit comme nuancé, mais cela présente quand même une raison comme une analyse alors que c'est en fait une invention — le participant n'a jamais mentionné l'interface.

Correct. The participant gave no reason. "Likely due to the confusing new interface" sounds like a reasonable inference, but it's invented — and once it's in a report, it reads as a finding, not a guess.Correct. Le participant n'a donné aucune raison. « Probablement à cause de la nouvelle interface confuse » sonne comme une déduction raisonnable, mais c'est inventé — et une fois dans un rapport, cela se lit comme un résultat, pas une supposition.

Not quite. The intensity isn't the issue here — the problem is a reason was added that was never actually stated.Pas tout à fait. L'intensité n'est pas le problème ici — le problème, c'est qu'une raison a été ajoutée alors qu'elle n'a jamais été formulée.

Case 4 of 5Cas 4 sur 5

Original dataDonnées originales

2 of 10 participants mentioned confusion with the checkout button's placement. The other 8 didn't bring it up at all.2 des 10 participants ont mentionné une confusion avec l'emplacement du bouton de paiement. Les 8 autres n'en ont pas du tout parlé.

AI summaryRésumé de l'IA

"Users found the checkout button placement confusing."« Les utilisateurs ont trouvé l'emplacement du bouton de paiement confus. »

What did this summary get wrong?Qu'est-ce que ce résumé a mal interprété ?

It turned a minority view (2 of 10) into a statement that reads like a majority findingCela a transformé un avis minoritaire (2 sur 10) en une affirmation qui se lit comme un résultat majoritaire Nothing — if even a few users struggled, it's worth flagging as "users"Rien — même si seulement quelques utilisateurs ont eu du mal, ça vaut la peine de le signaler comme « les utilisateurs » It understated how confusing the button actually wasCela a sous-estimé à quel point le bouton était réellement confus

Correct. "Users found it confusing" implies most people, when actually 8 of 10 never mentioned it. The finding might still matter, but the scope has been quietly inflated.Correct. « Les utilisateurs ont trouvé ça confus » sous-entend la majorité, alors qu'en réalité 8 personnes sur 10 n'en ont jamais parlé. Le résultat peut quand même compter, mais la portée a été discrètement gonflée.

Not quite. Worth flagging, sure — but "users found X confusing" reads as a general finding, not a minority signal from 2 of 10 people.Pas tout à fait. Ça vaut la peine de le signaler, certes — mais « les utilisateurs ont trouvé X confus » se lit comme un résultat général, pas comme un signal minoritaire venant de 2 personnes sur 10.

Not quite. If anything the summary overstates it, not understates it — look at how many people this was actually true for.Pas tout à fait. Si quelque chose, le résumé exagère plutôt qu'il ne sous-estime — regardez pour combien de personnes c'était réellement vrai.

Case 5 of 5Cas 5 sur 5

Original dataDonnées originales

8 participants preferred the new design. 2 explicitly said they preferred the old one and felt strongly about it.8 participants ont préféré le nouveau design. 2 ont explicitement dit préférer l'ancien et ressentaient cela fortement.

AI summaryRésumé de l'IA

"Participants preferred the new design."« Les participants ont préféré le nouveau design. »

What did this summary get wrong?Qu'est-ce que ce résumé a mal interprété ?

Nothing — 8 out of 10 is a clear majorityRien — 8 sur 10, c'est une majorité claire It invented a percentage that wasn't in the original dataCela a inventé un pourcentage qui n'était pas dans les données originales It dropped the 2 participants who disagreed, erasing a real and possibly important dissenting signalCela a supprimé les 2 participants en désaccord, effaçant un signal de dissidence réel et potentiellement important

Not quite. Majority, yes — but "participants preferred" with no caveat erases the 2 who felt strongly the other way, which might matter a lot depending on who they were.Pas tout à fait. Majorité, oui — mais « les participants ont préféré » sans nuance efface les 2 personnes qui ressentaient fortement le contraire, ce qui pourrait beaucoup compter selon qui elles étaient.

Not quite. No percentage was fabricated here — the issue is an omission, not an invented number.Pas tout à fait. Aucun pourcentage n'a été fabriqué ici — le problème est une omission, pas un chiffre inventé.

Correct. A clean majority statement quietly deleted a real, strongly-held dissenting opinion. Whether that dissent matters depends on context you can only get by keeping it visible, not folding it into an average.Correct. Une affirmation de majorité nette a discrètement supprimé une opinion dissidente réelle et fermement tenue. Que cette dissidence compte dépend d'un contexte que vous ne pouvez obtenir qu'en la gardant visible, pas en la fondant dans une moyenne.

The pattern across all fiveLe schéma commun aux cinq

None of these summaries look wrong on a skim. They read as clean, confident prose — which is exactly what makes them dangerous. The only real check is comparing specific claims back to the raw quotes, not re-reading the summary and deciding it sounds right.Aucun de ces résumés ne semble faux à une lecture rapide. Ils se lisent comme une prose propre et confiante — ce qui est exactement ce qui les rend dangereux. La seule vérification qui compte est de comparer chaque affirmation précise aux citations brutes, pas de relire le résumé en décidant qu'il sonne juste.

One habit that makes this faster: ask your AI to map every finding to the specific quote(s) it came from, right in the output. Checking stops being "does this sound right" and becomes "does this quote actually say that" — seconds per claim instead of re-reading everything from scratch.Une habitude qui accélère les choses : demandez à votre IA de relier chaque résultat à la ou les citations précises dont il provient, directement dans la sortie. Vérifier cesse d'être « est-ce que ça sonne juste » et devient « est-ce que cette citation dit vraiment ça » — quelques secondes par affirmation au lieu de tout relire depuis le début.

Get the full toolkit — Beyond ScreensObtenez la boîte à outils complète — Beyond Screens

Part of The UX Research Library — leiamanin.comUn outil de la UX Research Library — leiamanin.com

Can You Trust This AI Summary?Pouvez-vous faire confiance à ce résumé fait par l'IA ?

Paramètres avancés