Stima dei bias di mancata risposta e degli effetti del modo in un’indagine mixed-mode

Stima dei bias di mancata risposta e degli effetti del modo in un'indagine mixed-mode

Peter Lugtig, Gerty J.L.M. Lensvelt-Mulders, Remco Frerichs, Assyn Greven 

question-mark-2492009_640

Domande di rilevanza e ricerca:

Questo articolo discute come studiare uno dei possibili aspetti negativi dei sondaggi mixed mode: l’effetto modalità. Un effetto di modalità si verifica quando gli intervistati danno risposte diverse unicamente a causa del metodo di intervista. Studiare gli effetti della modalità è difficile, perché sono facilmente confusi con gli effetti di selezione che si verificano durante lo svolgimento di sondaggi con più modalità. 

Questo documento propone il Propensity Score Matching (PSM) come metodo per districare gli effetti della modalità dalle differenze di composizione del campione e mostra come gli effetti della modalità si verificano in uno studio misto telefonico-internet.
I progettisti di sondaggi si preoccupano di tre tipi di effetti di modalità correlati:

  • Effetto di desiderabilità sociale: nelle situazioni in cui c’è un intervistatore, alcune persone adattano le loro risposte a ciò che si aspettano che l’intervistatore voglia ascoltare. Questo effetto aumenta con la sensibilità della domanda.
  • Canale trasmissivo: il secondo tipo di effetto di modalità può verificarsi a causa di una differenza nella trasmissione uditiva rispetto alla trasmissione visiva dei dati. Nelle indagini telefoniche, gli intervistatori leggono le domande del sondaggio insieme a tutte le possibili categorie di risposta. Il rispondente ascolta e in genere attende le istruzioni dell’intervistatore prima di rispondere. Gli intervistati nei sondaggi di posta o internet invece leggono le domande e rispondono in maniera autonoma.
  • Categoria “non so”: nei sondaggi telefonici, questa opzione non viene generalmente messa a disposizione dei rispondenti, ma può essere registrata dall’intervistatore quando i rispondenti hanno difficoltà a rispondere a una domanda. In un sondaggio su Internet invece, l’opzione “non so” viene offerta in modo più o meno esplicito, con conseguenti differenze nella frequenza delle risposte “non so” in un sondaggio mixed mode.

Metodi e Dati:

I nostri dati derivano da un’indagine mixed mode condotta tra aprile e giugno 2008 nella provincia di Zuid-Holland nei Paesi Bassi. Nel sondaggio, agli intervistati è stato chiesto come vivono l’inquinamento ambientale causato dall’industria, dal traffico e dall’agricoltura.
Per l’indagine sono stati estratti due campioni casuali dal database centrale contenente tutti gli indirizzi postali nei Paesi Bassi. Il campione Computer Assisted Telephone Interview (CATI) è composto da 6118 famiglie con un numero di telefono fisso conosciuto. Le interviste eseguite sono state 2685 con un tasso di risposta del 47% (AAPOR 2008). Per quanto riguarda invece l’indagine Web Assisted Personal Interview (WAPI) il campione era composto da 7090 famiglie e sono state fatte 1347 interviste, con un tasso di risposta del 19% (AAPOR 2008). Per studiare gli effetti delle modalità, abbiamo utilizzato un terzo campione in aggiunta ai due campioni probabilistici. 

Un campione di contingenti stratificato in base all’età, al genere e alla situazione lavorativa è stato estratto dal panel di accesso di TeamVier. 500 intervistati hanno presto parte allo stesso sondaggio su internet degli intervistati WAPI.
Le domande utilizzate nelle indagini CATI e WAPI erano identiche, ad eccezione dell’introduzione e della fine del questionario. Un’opzione “non so” è stata implicitamente offerta, sia nel sondaggio CATI che su Internet, in cui gli intervistati potevano saltare una domanda.

Esistono diversi modi per separare gli effetti di composizione del campione dagli effetti di modalità:

  • setting sperimentale: un gruppo casuale di intervistati modifica le modalità di indagine durante l’intervista (Heerwegh 2009). È essenziale, in un progetto del genere, che nessuno degli intervistati abbandoni, quindi questo approccio è difficile da utilizzare in uno studio riguardante la popolazione generale.
  • Confronto delle stime dei sondaggi mixed mode con un “gold standard”: uno dei problemi è che raramente abbiamo dati di convalida sulle domande attitudinali, che sono il tipo di domanda per cui i ricercatori si preoccupano maggiormente degli effetti di modalità.
  • Modellazione statistica: l’ obiettivo di questo approccio è di rendere i due campioni di uno studio mixed mode equivalenti. Ciò può essere fatto pesando o usando un modello multivariato che corregga le differenze tra i campioni. Lo svantaggio di questi approcci di modellazione è che presuppongono che ogni modalità di indagine possa potenzialmente coprire l’intera popolazione.

Questo documento prende in esame un approccio diverso e mostrerà come il Propensity Score Matching (PSM) può essere utilizzato per far corrispondere i rispondenti di due sottocampioni in una indagine mixed mode e per studiare gli effetti delle modalità.
Gli intervistati abbinati dalle due modalità di indagine condividono le stesse caratteristiche di fondo. 

Dopo l’abbinamento, dovrebbero anche essere simili su altri aspetti relativi alle variabili utilizzate nel processo di matching. Se rimangono grandi differenze, probabilmente sono dovute agli effetti in modalità, come d’altronde prevediamo. Gli intervistati telefonici dovrebbero rispondere in modo più positivo a un insieme di scale di valutazione rispetto agli intervistati di Internet, a causa della presenza di un intervistatore. In secondo luogo, ci aspettiamo una differenza nella proporzione di risposte positive e negative dovuta a un effetto di recency nel campione telefonico.

Poiché il punteggio di propensione è calcolato utilizzando un insieme di covariate, la scelta di queste ultime è estremamente importante. Abbiamo scelto di utilizzare un insieme di caratteristiche socio-economiche di base per calcolare il punteggio di propensione per ogni individuo.
Il punteggio di propensione del nostro studio riassume la probabilità condizionata di essere un rispondente del campione CATI, WAPI o del panel. I rispondenti simili provenienti dal WAPI e dal campione del panel vengono corrisposti in base ai loro punteggi di propensione.
Allo stesso modo, sono abbinati anche i rispondenti CATI e WAPI.
Il matching utilizzato è implementato nel programma statistico R 2.9.1 insieme al pacchetto “MatchIt”.

Risultati:

Se utilizzate con attenzione, le indagini mixed mode possono aumentare sia la copertura che i tassi di risposta, e ridurre la distorsione risultante.
Prima del matching, la composizione dei campioni CATI e WAPI differiva significativamente da quella della popolazione.
Dopo l’abbinamento, i partecipanti al WAPI e al panel sono, come da aspettativa, molto simili. Quando ripetiamo questa procedura per i campioni CATI e WAPI, tuttavia, le differenze dopo la corrispondenza persistono.
Ciò indica il verificarsi di effetti in modalità nei sondaggi telefonici e Internet.
Gli intervistati CATI scelgono la categoria estremamente positiva più spesso e rispondono in modo tendenzialmente più positivo rispetto alla propria controparte WAPI.
E’ stato dimostrato che gli effetti delle modalità e gli effetti di non risposta interagiscono in sondaggi mixed mode che combinano sondaggi telefonici e Internet, rendendo impossibile unire semplicemente i dati di questi sondaggi e analizzarli come un unico dataset.
Una limitazione del nostro studio è il modo in cui abbiamo studiato gli effetti di modalità. I diversi effetti che volevamo distinguere (effetti di recency, di primacy e effetto intervistatore) interagiscono tra loro, rendendo impossibile in questo studio valutare quali tipi di effetti di modalità si verificano.

Iscriviti alla nostra newsletter

Stima dei bias di mancata risposta e degli effetti del modo in un’indagine mixed-mode
Condividi questo articolo

Potrebbe anche interessarti

Lascia una recensione

avatar
  Subscribe  
Notificami