“In appena sei o otto domande, le persone stanno già rispondendo in modo tale che stai peggio se stai cercando di prevedere il comportamento nel mondo reale”
I sondaggi che fanno troppe domande dello stesso tipo stancano gli intervistati e restituiscono dati inaffidabili, secondo un nuovo studio condotto dall’UC Riverside .
Lo studio ha rilevato che le persone si stancano di domande che variano solo leggermente e tendono a dare risposte simili a tutte le domande man mano che il sondaggio procede. Gli esperti di marketing, i responsabili politici e i ricercatori che si affidano a lunghi sondaggi per prevedere il comportamento dei consumatori o degli elettori disporranno di dati più accurati se elaborano sondaggi progettati per ottenere risposte affidabili e originali, suggeriscono i ricercatori.
“Volevamo sapere se la raccolta di più dati nei sondaggi è sempre migliore o se porre troppe domande potrebbe portare gli intervistati a fornire risposte meno utili mentre si adattano al sondaggio”, ha affermato il primo autore Ye Li, assistente professore di gestione della UC Riverside. “Potrebbe questo paradossalmente portare a porre più domande ma a ottenere risultati peggiori?”
Sebbene si possa essere tentati di presumere che più dati siano sempre migliori, gli autori si sono chiesti se i processi decisionali utilizzati dagli intervistati per rispondere a una serie di domande potrebbero cambiare, specialmente quando tali domande utilizzano un formato simile e ripetitivo.
La ricerca ha affrontato sondaggi quantitativi del tipo tipicamente utilizzato nelle ricerche di mercato, in economia o in ricerche sulle politiche pubbliche che cercano di comprendere i valori delle persone su determinate cose. Queste indagini spesso pongono un gran numero di domande strutturalmente simili.
I ricercatori hanno analizzato quattro esperimenti che hanno chiesto agli intervistati di rispondere a domande relative a scelta e preferenza.
Gli intervistati nei sondaggi hanno adattato il loro processo decisionale rispondendo a domande di scelta più ripetitive e strutturate in modo simile, un processo che gli autori chiamano “adattamento”. Ciò significa che hanno elaborato meno informazioni, imparato a valutare più pesantemente determinati attributi o adottato scorciatoie mentali per combinare gli attributi.
In uno degli studi, agli intervistati è stato chiesto quali fossero le loro preferenze per le diverse configurazioni dei laptop. Erano il tipo di domande che i marketer usano per determinare se i clienti sono disposti a sacrificare un po’ di dimensioni dello schermo in cambio di una maggiore capacità di archiviazione, ad esempio.
“Quando ti vengono fatte domande più e più volte sulle configurazioni dei laptop che variano solo leggermente, le prime due o tre volte le guardi attentamente, ma dopo forse guardi solo un attributo, come la durata della batteria. Usiamo le scorciatoie. Usare le scorciatoie ti dà meno informazioni se chiedi troppe informazioni”, ha detto Li.
Sebbene sia noto che gli esseri umani si adattano al loro ambiente, la maggior parte dei metodi nella ricerca comportamentale utilizzati per misurare le preferenze hanno sottovalutato questo fatto.
“In appena sei o otto domande le persone stanno già rispondendo in modo tale che stai già peggio se stai cercando di prevedere il comportamento nel mondo reale”, ha detto Li. “In questi sondaggi, se continui a dare alle persone lo stesso tipo di domande più e più volte, iniziano a dare lo stesso tipo di risposte”.
I risultati suggeriscono alcune tattiche che possono aumentare la validità dei dati risparmiando tempo e denaro. Il tracciamento dei processi, una metodologia di ricerca che tiene traccia non solo della quantità delle osservazioni ma anche della loro qualità, può essere utilizzata per diagnosticare l’adattamento, aiutando a identificare quando rappresenta una minaccia alla validità. L’adattamento potrebbe anche essere ridotto o ritardato modificando ripetutamente il formato dell’attività o aggiungendo domande di riempimento o interruzioni. Infine, la ricerca suggerisce che per massimizzare la validità delle indagini di misurazione delle preferenze, i ricercatori potrebbero utilizzare un insieme di metodi, preferibilmente utilizzando più mezzi di misurazione, come domande che implicano la scelta tra opzioni disponibili in momenti diversi, domande corrispondenti e una varietà di contesti.
“Il compromesso non è sempre ovvio. Più dati non sono sempre migliori. Sii consapevole dei compromessi”, ha detto Li. “Quando il tuo obiettivo è prevedere il mondo reale, è allora che conta.”
Li è stato affiancato nella ricerca da Antonia Krefeld-Schwalb, Eric J. Johnson e Olivier Toubia alla Columbia University; Daniel Wall all’Università della Pennsylvania; e Daniel M. Bartels all’Università di Chicago. Il documento, “Più chiedi, meno ottieni: quando domande aggiuntive danneggiano la validità esterna”, è pubblicato nel Journal of Marketing Research ed è disponibile qui .