Mode effect or question wording? Errore di misurazione nei sondaggi mixed-mode

Mode effect or question wording? Errore di misurazione nei sondaggi mixed-mode

de Leeuw, E.D.; Hox, J.J.C.M.; Scherpenzeel, A.C.

Le indagini mixed mode sono sostenute come una soluzione ai problemi di non risposta e di non copertura che affliggono un approccio single mode. Tuttavia, quando differenti sottogruppi di rispondenti sono intervistati con diverse modalità di raccolta dati, gli effetti della modalità possono influenzare i risultati, e differenti errori di misura potrebbero minacciare la validità dei risultati. 

Mode effect or question wording

Una delle principali sfide che ci si pone è quella di combinare dati da indagini telefoniche e web. 

Una differenza principale tra web e telefono è il canale di comunicazione utilizzato per porre domande e fornire risposte. Nelle indagini telefoniche, il canale uditivo è utilizzato per trasmettere informazioni, mentre nei sondaggi web è principalmente usato quello visivo; ciò influenza il carico cognitivo per l’intervistato, infatti la trasmissione di informazioni solo tramite audio richiede requisiti sulla capacità di memoria più elevati rispetto alla trasmissione visiva.

Per compensare i limiti del canale uditivo, i ricercatori hanno progettato degli specifici formati di domanda per le interviste telefoniche. Nei sondaggi telefonici le scale di risposta sono spesso semplificate, fornendo solo le etichette agli estremi iniziali e finali (endpoint) per alleggerire il carico cognitivo creato sui rispondenti. Al contrario, nelle indagini web le scale di risposta sono spesso presentate con tutti i loro punti verbalmente contrassegnati. 

Un secondo metodo per ridurre il carico cognitivo nelle interviste telefoniche è l’”unfolding”, dove le domande scalari sono ramificate in due fasi, invece di presentare tutte le categorie di risposta direttamente in una fase. Il vantaggio della procedura unfolding è che ai rispondenti è chiesto di elaborare un numero un numero minore di categorie contemporaneamente, mettendo così meno peso sulla memoria limitata a breve termine disponibile quando vengono elaborati stimoli solo acustici.

In una serie di esperimenti è stato testato l’effetto dei metodi:

    • endpoint vs. etichettatura completa 

    • unfolding vs. domanda diretta in una sola fase 

entrambi tra indagine telefonica e web. Ciò ci ha permesso di studiare gli effetti di modalità e del formato della domanda in modo indipendente, e di studiare potenziali interazioni tra modalità di indagine e formato della domanda. 

 

 Metodi e dati:

 Sono stati utilizzati i membri del panel olandese LISS (Longitudinal Internet Studies for the

Social Sciences). Questo panel è stato istituito nell’autunno del 2007 e consiste in quasi 8000 individui che compilano questionari online ogni mese. E’ basato su un campione probabilistico di famiglie tratto dalla popolazione olandese.

Sono stati effettuati due esperimenti sul formato della domanda nella primavera del 2009. 

Nel primo esperimento è stato studiato l’effetto della diversa etichettatura delle categorie di risposta. 

Nel secondo esperimento è stato analizzato l’effetto delle categorie di risposta offerte direttamente in un unico passaggio rispetto a una procedura di unfolding in due fasi. Gli esperimenti sono stati incorporati in una indagine mixed mode.

Abbiamo assegnato in modo casuale i membri del panel LISS alla modalità (CATI vs. CAWI): 2000 sono stati assegnati all’indagine CATI e 6134 all’indagine CAWI. Su CATI hanno risposto 1207 dei 2000 membri (60%), mentre su CAWI 4003 dei 6134 (65%).

L’assegnazione CAWI è stata svolta dal personale del panel LISS, l’assegnazione CATI dall’organizzazione olandese TNS-NIPO.

 In secondo luogo, all’interno di ciascuna modalità gli intervistati sono stati nuovamente assegnati in modo casuale alla condizione sperimentale sul formato della domanda in un disegno due a due:

     1. completamente etichettato vs endpoint 

    2. domanda diretta in una fase vs unfolding

 Sono state utilizzate otto domande di opinione. Ogni domanda utilizzava una scala con cinque categorie di risposta, che vanno da “totalmente d’accordo” a “totalmente in disaccordo”. “Non so” non è stato esplicitamente offerto, ma è stato accettato quando è stato dato. Questo per rendere il sondaggio web equivalente al sondaggio telefonico, dove è sempre possibile dire spontaneamente “non so” a un intervistatore. 

L’argomento del sondaggio era l’accettabilità dell’uso della tecnologia medica avanzata e il questionario era già stato utilizzato in precedenza per indagare sull’accettabilità della tecnologia medica da parte della popolazione olandese.

 

Risultati:

Abbiamo trovato piccoli ma significativi effetti di modalità e di formato della domanda, ma non effetti di interazione tra questi.

Indipendentemente dal tipo di scala, i rispondenti al telefono hanno fornito punteggi di accettazione medi più bassi rispetto ai rispondenti web. Tuttavia le differenze erano piccole, la differenza media tra telefono e web era solo 0,06 su una scala a cinque punti. Abbiamo anche rilevato che gli intervistati al telefono hanno scelto più spesso le categorie di risposta agli estremi rispetto ai rispondenti web, una scoperta precedentemente riportata da Christian, Dillman e Smyth (2008) per una popolazione studentesca negli USA.

Bisogna sottolineare che non sono stati trovati effetti di interazione tra modalità e formato della domanda. Questi risultati sono incoraggianti per le indagini in modalità mista; sia gli effetti della modalità che del formato della domanda sono ridotti. 

Consigliamo di non utilizzare formati di domanda diversi in studi mixed mode, ma di utilizzare domande equivalenti quando possibile.

 

Iscriviti alla newsletter

Mode effect or question wording? Errore di misurazione nei sondaggi mixed-mode
Condividi questo articolo

Potrebbe anche interessarti

Lascia una recensione

avatar
  Subscribe  
Notificami