Misreporting Motivato nei Panel Web

Misreporting Motivato nei Panel Web


L’articolo di cui vi offriamo una sintesi indaga il fenomeno del misreporting motivato in un panel web. Il misreporting motivato è quel meccanismo mediante il quale i rispondenti a un sondaggio forniscono risposte errate o non corrispondenti alle loro opinioni al solo scopo di ridurre la lunghezza del questionario e quindi l’onere in termini di tempo ed energie necessario alla sua compilazione.

Molti sondaggi utilizzano domande filtro per determinare l’idoneità dei rispondenti alle domande di follow-up. Il loro scopo è quello di ridurre l’onere per i rispondenti ponendo solo domande pertinenti. Per queste domande sui filtri vengono utilizzati due formati comuni:

1. Nel formato interleafed agli intervistati viene posta una domanda filtro e le domande di follow-up, se attivate, seguono immediatamente;

2. Nel formato raggruppatoagli intervistati vengono prima poste tutte le domande filtro e in seguito le domande di follow-up;

Diversi studi hanno dimostrato che i rispondenti accedono a un numero inferiore di follow-up con un formato interleafed che con un formato raggruppato (Eckman, Kreuter, Kirchner, Jackle, Tourangeau, et al., 2014). Ciò accade perché nel formato interleafed gli intervistati apprendono come è strutturato il sondaggio e iniziano a dire “No” alle domande filtro per evitare le domande di follow-up, mentre questa possibilità è ridotta nel formato ragguppato in cui le domande filtro vengono poste tutte assieme.

Un meccanismo simile è alla base di una forma di condizionamento per le indagini su panel.

Gli intervistati possono, infatti, apprendere dalle prime wawe come il questionario è strutturato e utilizzare queste informazioni per rispondere in maniera scorretta nelle wawe successive.

Halpern-Manners e Warren (2012) hanno trovato conferme a questa ipotesi nel Current Population Survey.

 

Lo studio

Nello studio state testate tre ipotesi.

1. Ipotesi di condizionamento del sondaggio: il numero di domande di follow-up attivate dipende dal formato con cui sono poste (interleafed o raggruppato)?

2. Ipotesi di condizionamento del panel: il misreporting motivato permane nelle diverse wawe?

3. Ipotesi di condizionamento del panel in formato modificato: il misreporting motivato varia quando i rispondenti sono intervistati in formati diversi in ogni wawe (cioè, quando il formato cambia da raggruppato a interleafed e viceversa)?

Oltre a testare queste tre ipotesi sì è verificato se il condizionamento del sondaggio e il condizionamento del panel dipendono dalle capacità cognitive degli intervistati.

I dati dello studio provengono dal panel olandese LISS, un panel Internet utilizzato da molti anni e basato su un campione probabilistico. I membri del campione compilano questionari di circa 15-30 minuti su base mensile (Scherpenzeel e Das 2010).

 

I risultati

Come previsto dall’ipotesi di condizionamento del sondaggio, la percentuale di domande filtro attivate nella prima wawe è significativamente più piccola nel formato interleafed rispetto al formato raggruppato: 36% contro 43% (cioè 4.7 contro 5.6 filtri attivati). Il condizionamento del sondaggio avviene nella prima wawe come atteso. Altro aspetto significativo è che la probabilità di attivare un filtro nel formato interleafed diminuisce significativamente man mano che si progredisce nelle varie sezioni del questionario. Questa constatazione supporta ulteriormente l‘ipotesi che gli intervistati apprendono a utilizzare il misreportingnel formato interleafed. Per quanto riguarda la seconda ipotesi relativa al condizionamento del panel, i rispondenti intervistati in formato interleafed in entrambe le fasi non mostrano cambiamenti significativi nel tempo relativamente alle risposte fornite e lo stesso vale per i rispondenti intervistati nel formato raggruppato in entrambe le wawe (terza ipotesi). Pertanto non viene trovato alcun supporto per l’ipotesi di condizionamento del panel e per l’ipotesi del condizionamento del panel in formato modificato.

Per quanto riguarda l’influenza delle capacità cognitive non vi sono dati a supporto del fatto che i filtri attivati nei due formati varino in base al livello di istruzione degli intervistati.

Riassumendo: i risultati mostrano un’evidenza sperimentale a favore dell’ipotesi del condizionamento del sondaggio: nel formato interleafedvengono attivati meno filtri rispetto al formato raggruppato, mentre non vi è alcuna prova che gli intervistati ricordino la struttura dell’indagine nel tempo in un contesto di indagine panel e nel misreporting oltre la seconda wawe. Pertanto, non vi è alcuna evidenza per supportare l’ipotesi relativa al meccanismo del peggioramento dei rispondenti nel tempo.

 

Conclusioni

I professionisti del sondaggio sono sempre più consapevoli del fatto che porre domande sui filtri in diversi formati può influire sulle risposte e sugli errori di misurazione. Gli studi sul misreporting motivato nelle indagini trasversali hanno mostrato che le domande poste in un formato interleafed hanno attivato un minor numero di follow-up rispetto ai rispondenti intervistati in un formato raggruppato. La spiegazione comune per tale condizionamento è che gli intervistati apprendono come è strutturato un sondaggio e utilizzano queste informazioni per abbreviare il questionario e ridurne l’onere.

In sostanza, mentre gli intervistati mostrano una forte tendenza a ricordare la struttura di un questionario in un singolo sondaggio, non sembrano richiamare queste informazioni quando le stesse domande vengono ripetute nel tempo. Anche gli intervistati in formato interleafed nella prima wawe, molti dei quali misreporter, non mostrano più alcun segno di misreporting quando sono intervistati per la seconda volta in un formato raggruppato.

La spiegazione più probabile per questo risultato è l’effetto di reimpostazione riportato da Kreuter et al. (2011) Essi sostengono che il misreporting dei rispondenti viene resettato quando inizia una nuova sezione all’interno di un questionario. Una logica simile potrebbe applicarsi a un contesto di sondaggio panel: se la segnalazione errata viene reimpostata all’avvio di una nuova sezione, lo stesso dovrebbe valere per l’inizio di una nuova wawe in un sondaggio panel.

Sebbene il misreporting possa rappresentare un problema serio, la partecipazione ripetuta allo stesso sondaggio non peggiora il problema mentre l’utilizzo di un formato raggruppato è da preferirsi al formato interleafed.


Nostra rielaborazione dell’articolo “Motivated Misreporting in Web Panels” di Ruben L. Bach e Stephanie Eckman per AAPOR

Predire i Tassi di Risposta di un’Indagine dal Tipo di Presentazione Effettuata dagli Intervistatori

Predire i Tassi di Risposta di un'Indagine dal tipo di Presentazione Effettuata dagli Intervistatori

 In che modo il comportamento di un operatore CATI all’inizio di una chiamata influenza il tasso di risposta degli intervistati.

businessman consulting , concepts of client services and communication. call center service job character.,Vector illustration cartoon character

L’articolo che prendiamo oggi in considerazione analizza parte dei dati del Wisconsin Longitudinal Study (WLS, 2005) dell’Università del Wisconsin di Madison, che a partire dal 1992 ha raccolto i dati audio di migliaia di interviste telfoniche (CATI). Nello specifico l’articolo si sofferma su 257 coppie* di tracce audio corrispondenti all’anno 2004 studiando le relazioni tra modalità di approccio dell’intervistatore e del rispondente per predire il tasso di risposta di una survey.

L’assunto di partenza è che sia possibile predire i tassi di partecipazione ad un’indagine telefonica valutando l’approccio dell’intervistatore nei primi istanti di una chiamata, sia in termini di interazione tra chi chiama e chi risponde, sia in termini di forma e natura degli elementi prosodici e acustici da ambo i lati.

* Lo studio ha isolato due diversi approcci dell’operatore telefonico, uno definito “canonico” e l’altro “efficiente”.

Risultati dello studio

L’analisi della lunga serie storica della WLS ha permesso di isolare alcuni elementi che permettono di implementare percorsi formativi rivolti agli operatorio telefonici con l’obiettivo di produrre una maggiore consapevolezza riguardo al comportamento da tenere nei primi momenti di una chiamata telefonica: le prime frasi pronunciate dall’intervistatore hanno infatti un grande impatto sul response rate delll’indagine, così come lunghezza e tipologia del saluto del rispondente sono in grado di fornire elemnti per la predizione circa la partecipazione dello stesso alla survey.

Le chiamate sono state classificate a seconda che inizino in modo “efficiente” o “canonico”.
Nel modo canonico l’intervistatore si presenta e introduce il tema dell’indagine alla persona che risponde alla chiamata. Se il rispondente non rientra tra le unità eleggibili l’intervistatore dovrà, quindi, ripetere le presentazioni ad un secondo soggetto (qualora presente all’interno dell’abitazione contattata) che rientri eventualmente nel campione. Al contrario, nel metodo efficiente l’intervistatore rimanda le presentazioni e si assicura prima di parlare con un soggetto eleggibile, presentandosi, quindi, una sola volta.

A dispetto di ciò che farebbe presupporre la definizione, le probabilità di partecipazione sono sostanzialmente e significativamente più basse adottando il metodo “efficiente”, e questo per il motivo che nel caso di una presentazione canonica l’identificazione e la cognizione dell’oggetto della chiamata avviene su un abase di reciprocità, mentre nel caso di un approccio efficeiente avviene sulla base di un dislivello tra intervistato e intervistatore (a sfavore dell’intervistato). Quindi è da preferirsi un approccio canonico anche se è bene che l’intervistatore si presenti prima che il rispondente chieda chi lo sta chiamando. In un’introduzione ottimale, infatti, il rispondente dovrebbe essere indotto a formulare domande riguardo all’oggetto del questionario o alla sua lunghezza e non ai motivi per cui il questionario viene somministrato (le “why” questions in inglese), domande, quest’ultime, che riducono i tassi di partecipazione.

E’ stata poi analizzata l’efficacia di diversi livelli di cortesia nell’esordio di una chiamata e si è potuto verificare come solo le introduzioni molto cortesi apportino un incremento nel tasso di rispota, mentre le presentazioni troppo informali e amichevoli, comportano diminuzioni del respsonse rate. Formule come “hello”, infatti, risultano più efficaci rispetto a saluti quali “hi”, perché la prima è percepita come più cortese e formale (in qualche modo gli equivalenti in italiano di “salve” e “ciao”). Allo stesso modo presentazioni troppo lunghe e dettagliate diminuiscono i tassi di partecipazione alla survey.

Ancora: le chance di partecipare sono maggiori se durante le battute iniziali del dialogo telefonico l’intervistatore adotta una parlata cadenzata, che lascia spazio a brevi pause nel discorso, permettendo all’intervistato di processarlo e assimilarlo meglio.

Infine, per quanto riguarda il comportamento del rispondente, maggiore è la durata del saluto del soggetto campione maggiori sono le possibilità che egli partecipi al sondaggio, intendendo con saluto solamente la parola d’esordio (hello).

_________________________

Nostra rielaborazione dall’articolo:  Greeting and response: predicting partecipation from the call opening

di Nora Cate Schaeffer, Bo Hee Min, Thomas Purnell, Dana Garbarski, Jennifer Dykema

 

Iscriviti alla newsletter

Perché i sondaggi declinano? Analisi a livello storico e individuale

Perché i sondaggi declinano? Analisi a livello storico e individuale

CREATOR: gd-jpeg v1.0 (using IJG JPEG v80), quality = 90

Tasso di risposta negli ultimi anni

Gli anni precedenti hanno rappresentato una “età d’oro” per i sondaggi d’opinione.
Le persone erano in generale più propense a rispondere ai questionari proposti e tassi di risposta superiori al 70% non erano inusuali.
Negli ultimi anni la partecipazione generale ai sondaggi è molto minore.

Uno studio (Presser and McCulloch 2011) ha dimostrato la correlazione tra l’enorme aumento dell’uso dei sondaggi negli ultimi anni e il corrispondente declino nei tassi si risposta.
Inoltre la fiducia generale nelle istituzioni (statali, governative ecc) è precipitosamente decaduta negli anni recenti, contribuendo a diffidare dalle proposte e a declinare sempre più i sondaggi.

Tasso di risposta soggettivo

Soggettivamente, nel prendere una decisione, calcoliamo il rapporto guadagno-costo.
Con questi termini è inteso tutto ciò che è classificabile come guadagno dal rispondente (la possibilità di far contare la propria opinione, di ricevere un incentivo monetario…) o come costo (perdita di tempo ecc).
Da recenti studi si evince che i motivi più frequenti che portano ad accettare un sondaggio sono altruistici (contribuire agli obiettivi della ricerca), egoistici (riscattare l’incentivo al termine della compilazione) o caratteristici del sondaggio (interesse riguardo l’argomento trattato, volontà di esprimere e far valere la propria opinione).
Al contrario, i motivi che portano a rifiutare un sondaggio sono lo scarso interesse verso l’argomento trattato, la mancanza di tempo, la presenza di un incentivo non commisurato all’impegno e motivi di privacy (timore che l’opinione personale espressa potesse essere in qualche modo divulgata).

Analisi

Al fine di ottenere tassi di risposta maggiori, è possibile manipolare sperimentalmente i benefici e i costi di un questionario.

La più grande variazione nel tasso di risposta si ottiene aumentando il guadagno o il beneficio del rispondente, più che da variazioni nel costo.
L’argomento del questionario e l’interesse personale alle domande hanno un grande effetto sul tasso di partecipazione. In generale i rispondenti sono più propensi a partecipare a questionari riguardanti il lavoro,gli hobby o il tempo libero che a sondaggi riguardo il sesso, il denaro o l’income. Argomenti “sensibili” aumentano la percezione del “costo” di un sondaggio.
Infine, in particolari questionari dove la compilazione risulta obbligatoria op concordata con il soggetto, l’avvertimento delle penalità in cui si può incorrere in caso di mancata compilazione e ritorno del questionario influenzano enormemente il tasso di risposta, in misura addirittura maggiore che aumentando il “guadagno”.

Conclusione

Aumentare i benefici o diminuire i costi di una particolare indagine e misurare le variazioni nel tasso di risposta in test precedente all’avvio dell’indagine, compiuto su un minor numero di rispondenti implica costi maggiori, ma porta a tassi di risposta più elevati. Ciò è particolarmente efficace se l’indagine ha come primaria importanza l’ottimizzazione del tasso di risposta.

 

Autori:
Eleanor Singer

Iscriviti alla newsletter

CATI Center Multilingua: Una Risposta alla Globalizzazione della Ricerca

CATI Center Multilingua: Una Risposta alla Globalizzazione della Ricerca

Internazionalizzazione dei mercati

E’ oramai nozione acquisita che le ricerche di mercato sono momenti fondamentali di un’attività produttiva. 
Il continuo aumento della competitività sugli scenari internazionali produce una domanda di dati e di analisi per mettere gli uffici marketing nelle condizioni di operare al meglio. 

148

Demetra opinioni.net si è da tempo preparata ad operare su questi scenari in continuo mutamento sviluppando e migliorando le proprie tecniche di ricerca e gli strumenti di cui si avvale, dedicando particolare attenzione alla formazione delle risorse umane in grado di operare su mercati esteri.

La risposta del mercato alla domanda di indagini internazionali

Uno degli strumenti per operare sui mercati internazionali massimizzando il rapporto costi/benefici è il Panel online. I vantaggi legati alla facile reperibilibilità dei profili target ne fa uno strumento efficace e con rapidi tempi di risposta seppur nei limiti metodologici connessi all’utilizzo di un unico strumento di field. Demetra dispone di Panel internazionali con milioni di panelisti distribuiti in oltre 80 paesi e svolge abitualmente survey in mercati europei, nord americani e asiatici
Per poter effettuare queste indagini ci siamo dotati di una rete di collaboratori e di uno staff in grado di seguire tutto il processo, a partire dallo script del questionario in lingua. 
Un esempio di Paesi in cui sono in corso indagini: Francia, Gran Bretagna, Cina, Stati Uniti, Corea del Sud, Nuova Zelanda.

Quando il panel non basta più – mercati difficili da analizzare

Spesso la caratteristica che accomuna i rispondenti ai sondaggi su panel è quella di non includere determinate fasce sociali della popolazione che non hanno esperienze di consumo estese relativamente a marchi, prodotti e servizi.
In alcuni paesi non è quindi possibile conoscere, con il solo utilizzo del Panel, aree di mercato a basso reddito o con scarsa propensione al consumo. 
In recenti studi, come ad esempio “Do Mobile Phone Surveys Work in Poor Countries?”, di Ben Leo, et al. e “Rural panel surveys in developing countries” di Lingxin Hao et al., sono riportati i risultati di sondaggi effettuati in paesi a basso reddito (Afghanistan, Etiopia, Mozambico e Zimbabwe) e in 5 nazioni asiatiche emergenti (Cina, India, Indonesia, Nepal, Thailandia).
Ciò che emerge è la presenza di grandi zone d’ombra del mercato, molto difficili da investigare e analizzare.
Gli ostacoli maggiori per realizzare survey rappresentative della popolazione sono legati alla difficoltà di raggiungere alcune fasce della popolazione.

CATI center multilingua

Come ottenere informazioni da questi mercati inesplorati, con una scarsa o nulla adesione ai Panel o in cui l’instabilità impedisce lo sviluppo di una società capace di offrire servizi avanzati?
In questi casi il ricorso al mode CATI (o CAMI) risulta essere il metodo più efficace per il buono grado di copertura offerta.
Demetra opinioni.net ha un’esperienza ventennale in indagini CATI e da poco ha avviato l’implementazione di un servizio CATI multilingua in grado di gestire tutto il processo, dalla traduzione e informatizzazione del questionario, somministrazione degli stessi e supervisioni delle interviste con operatori madrelingua. 
Siamo in grado di operare in tutti i paesi di lingua araba (di recente abbiamo effettuato un’indagine in Libia), nei principali paesi dell’est europa come Romania, Albania e Russia.

Demetra opinioni.net S.r.l

www.opinioni.net

Come Realizzare un Questionario Efficace e Veritiero?

Come Realizzare un Questionario Efficace e Veritiero?

Duane F Alwin, Erin M Baumgartner, Brett A Beattie

CREATOR: gd-jpeg v1.0 (using IJG JPEG v62), quality = 90

Il Sondaggio

Nel seguente studio viene analizzata la veridicità e la coerenza dei dati inseriti nei questionari. Nello studio sono analizzate 496 domande in totale.

Le informazioni e i dati del seguente studio sono stati ricavati da tre General Social Survey (GSS).
Una General Social Survey è una intervista compiuta faccia a faccia che mira a misurare il cambio attitudinale e demografico di un campione rappresentativo delle famiglie statunitensi.
Ognuno di questi studi è stato ripetuto tre volte a distanza di 2 anni, al fine di verificare la veridicità dei dati inseriti. Il primo questionario GSS è stato svolto nel 2006, nuovamente nel 2008 e infine nel 2010 . Il secondo nel 2008/2010/2012 e il terzo nel 2010/2012/2014.

Le domande utilizzate sono state esattamente ripetute nei tre identici test a distanza di 2 anni. Sono state formulate con le stesse parole, le stesse possibili risposte e con la medesima modalità di intervista. Le variabili di risposta utilizzate per rispondere erano tutte continue (e non categoriche).

Esempi di domande utilizzate sono inerenti alla vita quotidiana, al lavoro, alla situazione economica e familiare, alle opinioni politiche, al credo religioso e all’opinione riguardo al suicidio, al crimine e altro.

Risultati

Dai dati raccolti e analizzati non risulta nessuna teoria a supporto dell’idea che più categorie di risposta portino ad una maggiore veridicità e corrispondenza alla realtà, come è invece sostenuto nella information theory. In molti casi anzi, i risultati sono più veritieri utilizzando meno categorie di risposta e generalmente c’è un declino nei livelli di veridicità con numeri di opzioni di risposta via via maggiori.

Quando è presente una opzione che appare come una “media” tra le altre spesso chi risponde sceglie tale media. Se ad esempio, in un formato di risposta a 3 scelte è indicato nelle risposte:
1) BASSO 2) MEDIO 3 ) ALTO oppure 1) BENE 2) NORMALE 3) MALE, la maggioranza dei rispondenti sceglie la risposta numero 2 che rappresentata una sorta di “media” tra le altre, anche se essa non rappresenta al meglio il loro reale pensiero.
L’analisi rivela quindi che le domande che usano formati di risposta con categorie “di mezzo” portino a grandi errori nelle misurazioni.

E’ stata inoltre eseguita una più approfondita analisi proprio riguardante le possibilità di risposta a scelta, che possono essere 2, 3, 4 ecc.

Nello studio è stato rilevato che la risposta che si presenta come una “media” tra le altre 2 è molto spesso scelta. Ciò avviene perché tale opzione introduce ambiguità dove altrimenti sarebbe avvenuta una scelta netta tra due estremi. Questa opzione è spesso scelta perché richiede meno impegno e fornisce una scelta veloce in caso di incertezza.
Ne consegue che le risposte a 3 opzioni hanno una minor credibilità di quelle con 2 e 4 opzioni. I risultati della ricerca producono un forte supporto a favore di questa tesi.

Inoltre è stato riscontrato che il problema della veridicità della risposta intermedia nei modelli di risposta a 3 scelte non è così presente nell’uso di 5 risposte.
I risultati dei modelli con 5 risposte sono comunque meno veritieri dei modelli con 4 risposte.

Sono state rilevate significanti differenze tra domande con contenuto unipolare e bipolare. Una domanda con scala unipolare si basa su una sola polarità e richiede di valutare l’assenza o la presenza di quanto riportato nella domanda: ad esempio una domanda sul grado di soddisfazione avrà una scala unipolare 1) INSODDISFATTO 2) MODERATAMENTE SODDISFATTO 3) MOLTO SODDISFATTO
Le scale bipolari si basano invece su due polarità, spesso opposte.
Un esempio di scala bipolare è 1) D’ACCORDO 2) IN DISACCORDO

Le domanda che fanno uso di una scala di risposte unipolari risultano più veritiere.

Dall’elaborazione dei dati è anche emerso che le valutazioni e le descrizioni che l’individuo fornisce riguardanti se stesso sono più veritiere di quelle riguardanti i suoi atteggiamenti.
Le aspettative, ovvero la richiesta di predire un evento futuro, sono invece le peggiori in termini di affidabilità.

Le percezioni personali sono state misurate con una attendibilità e veridicità del 75%, le aspettative con il 55%.

Inoltre, come già noto da molti altri studi, le informazioni fattuali sono registrate con una maggiore veridicità rispetto a quelle non fattuali.

Conclusione

In conclusione, le risposte sono quindi più attendibili se sono usate meno categorie di risposta, con un uso di scale unipolari. Importanti eccezioni a questa teoria sono però le categorie di risposta che forniscono la possibilità di risposte “a metà”, che richiedono un minor impegno (come quelle a 3 oppure a 5 opzioni).

Iscriviti alla newsletter