Elementi di Psicometria con Laboratorio di SPSS 1 25-Dimensione degli effetti e 26-Metanalisi vers. 1.0 (2 dicembre 2014) Germano Rossi1 germano.rossi@unimib.it 1 Dipartimento di Psicologia, Università di Milano-Bicocca 2014-2015 G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 1 / 24 Saltare Saltare i paragrafi 25.5 e 25.6 (relativi al test di Mann-Whitney e all’Anova) e 26.5 e seguenti che non sono in programma G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 2 / 24 Introduzione La ricerca usa la statistica per verificare le sue ipotesi di lavoro, tramite la falsificazione dell’ipotesi nulla Le domande della ricerca cadono in due categorie: teorico-metodologico statistiche A livello teorico-metodologico ci si chiede se i risultati della ricerca sono importanti per capire la realtà, se hanno una rilevanza pratica. . . A livello statistico ci si chiede se il risultato ottenuto è “veramente” vero G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 3 / 24 Introduzione Uno dei problemi teorici e statistici della ricerca è l’errore di misurazione Ogni misurazione che noi facciamo è soggetta alla possibilità dell’errore (ad es. uno strumento impreciso oppure una nostra operazionalizzazione errata) misurare l’età di un adulto in anni è sufficientemente buona per tutte le occasioni misurare in anni l’età di un bambino può essere impreciso (in certi periodi un bambino cambia molto in un anno) questo pone un problema di affidabilità della misurazione G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 4 / 24 Introduzione l’età di una persona può essere misurata in molti modi: chiedendo ad un amico, alla persona stessa, chiedendo la data di nascita, la data e l’ora di nascita, chiedendo il certificato di nascita che dovrebbe riportare la data e l’ora di nascita vere (ma solo in paesi in cui è l’ospedale a denunciare la nascita) anche far misurare qualcosa a due persone diverse, può portare ad avere una misurazione non affidabile In teoria, possiamo stimare quanto sono affidabili due misurazioni tramite una formula: rxy rx∞ y∞ = √ rxx ryy dove rx∞ y∞ è il coefficiente di attenuazione; rxy è la correlazione fra due misurazioni, mentre rxx e ryy sono i coefficienti di affidabilità delle due misurazioni singole G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 5 / 24 Introduzione Questo potrebbe permetterci di aggiustare una misurazione inaffidabili tramite il sui coefficiente di attenuazione con un’altra affidabile purtroppo quasi mai conosciamo l’inaffidabilità di una misurazione (soprattutto in psicologia) G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 6 / 24 Dimensione dell’effetto: Introduzione Tramite il test della differenza delle medie (t-test) abbiamo visto se due medie sono diverse ovvero se i campioni su cui le medie sono state calcolate provengono da popolazioni con parametri statistici uguali o diversi questa informazione però è solamente vero/falso: o c’è differenza oppure no Inoltre l’eventuale differenza delle medie va interpretata come un risultato che potrebbe non essere “sicuro” ma anche come un differenza relativa se la religiosità estrinseca personale è diversa in base al genere e vediamo che la media dei maschi è minore di quella delle femmine non possiamo interpretare nulla di più della diversità G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 7 / 24 Introduzione Se leggo che “i maschi (M=14.72) risultano significativamente più aggressivi delle femmine (M=13.15)”, penso ad una grande differenza poi vado a vedere com’è stata costruita la variabile di aggressività usata e vedo che ha un intervallo di 10 (min 5, max 15) e allora penso che in fondo entrambi sono “aggressivi” anche se i maschi hanno una media un pochino più alta ma se l’intervallo fosse di 40 (min 10, max 50)? diremmo che le due medie di 14.72 e 13.15 sono molto vicine fra loro e molto basse ma allora la differenza fra 14.72 e 13.15, visto che è statisticamente significativa, è una differenza “importante”? G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 8 / 24 Introduzione Abbiamo già visto che certe statistiche dipendono dall’ampiezza del campione: più un campione è ampio, più le statistiche sono in grado di “trovare” un effetto ad es. una correlazione di .75 NON è significativa con un campione di 6 osservazioni, ma lo è con 8 osservazioni Nel t-test, l’errore standard diminuisce all’aumentare del campione e il valore di t diventa più grande D’altra parte, una correlazione di .15 equivale al 2,25% di varianza in comune, mentre una correlazione di .75 equivale al 56.25% di varianza comune Quindi, l’effetto trovato (correlazione, t-test, chi-quadro. . . .) dipende anche da quanto è grande l’effetto che sto misurando Se un effetto è grande, lo troverò anche con campioni piccoli, se è piccolo mi servirà un campione ampio G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 9 / 24 Dimensione dell’effetto (Effect size) L’effect size è un indice di quanto è ampia la dimensione dell’effetto trovato: se è piccolo, medio o grande Il concetto di dimensione dell’effetto è teorico e si può applicare a qualunque risultato di analisi dei dati In alcuni casi non è facilmente stimabile Ci sono sostanzialmente due modi di stimare la dimensione dell’effetto 1 2 uno relativo e basato sulla statistica usata uno più comparabile, basato sul concetto di correlazione, cioè sull’associazione fra effetto e variabile misurata G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 10 / 24 Dimensione dell’effetto (t-test) Uno dei primi autori a proporre una possibile stima della dimensione dell’effetto fu Cohen ragionando sulla differenza delle medie, propose di misurare la dimensione con qualcosa di simile a d= µ1 − µ2 σcombinata ovvero la differenza delle medie delle due popolazioni diviso la deviazione standard delle popolazioni combinate fra loro La dimensione dell’effetto è qui vista come una misura standardizzata della differenza delle medie G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 11 / 24 Dimensione dell’effetto (t-test) Cohen pensava che d dovesse oscillare fra 0 e 1 e propose una interpretazione generica di d d = .20, effetto piccolo d = .50, effetto medio d = .80, effetto grande ma spesso d supera il valore 1 e in letteratura si trovano che questi valori vengono generalmente considerati giganti (huge) G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 12 / 24 Dimensione dell’effetto (t-test) Una possibile formula per il t-test (per campioni indipendenti) è stata proposta da Hedge: g=q X1 − X2 (N1 −1)s21 +(N2 −1)s22 N1 +N2 −2 in cui il denominatore è la varianza combinata dei due campioni G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 13 / 24 Dimensione dell’effetto (t-test) Dal momento che sia g sia t usano la varianza combinata, g=q X1 − X2 (N1 −1)s21 +(N2 −1)s22 N1 +N2 −2 t= r X1 − X2 2 (N1 −1)s21 +(N2 −1)s2 N1 +N2 −2 1 N1 + 1 N2 conoscendo le numerosità e il valore di t, si può calcolare g anche come: r t N1 + N2 g=q =t N1 N2 N1 N2 N1 +N2 G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 14 / 24 Dimensione dell’effetto (t-test) Ovviamente, usando le forme inverse, possiamo calcolare t usando g Se i due gruppi non hanno la stessa numerosità: r N1 N2 t=g N1 + N2 Ma è più facile avere t che non g, in quanto molti software calcolano t, ma non g SPSS non calcola g G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 15 / 24 Esempio di uso di d Fondamentalismo Intrinseco Estrinseco Italiano M s 75,35 32,03 22,25 4,57 15,94 5,29 Originale M s 84,6 33 37,2 5,8 25,6 5,7 Test t p .003 <.001 <.001 d -0.28 -2.64 -1.71 Esempio “Confrontando il nostro campione con quello originale, osserviamo che ci sono alcune differenze. Mentre il t-test sembra evidenziare che la popolazione canadese è più fondamentalista di quella italiana, l’effect size ci dece che la differenza è piccola (d=-0.28). La situazione cambia per quanto riguarda l’orientamento religioso: ci sono differenze più grandi tra le 2 popolazioni sia per quanto riguarda la religiosità intrinseca che per quella estrinseca. Infatti i valori della d di Cohen sono decisamente giganti.” G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 16 / 24 Esempio di uso di d Fondamentalismo Intrinseco Estrinseco Estrinseco Personale Estrinseco Sociale Primo M s 75,35 32,03 21,37 5,41 15,94 5,29 9,45 3,12 6,45 3,13 Secondo M s 81,7 31,59 23,4 5,66 16,1 5,21 10,21 3,32 5,94 3,01 Test t p .034 <.001 n.s. .013 n.s. d .20 -.36 -.23 .17 Esempio “I risultati del nostro campione sono stati confrontati con quelli di un campione italiano precedente. Attraverso il test t osserviamo che vi sono tre variabili statisticamente diverse. Tuttavia le differenze riscontrate sono minime, infatti l’effect size più elevato è di solo .36, quindi le dimensioni degli effetti sono tutte piccole. Questo ci permetterebbe di affermare che potrebbe esiste comunque una somiglianza tra i 2 campioni italiani, la cui diversità potrebbe anche essere casuale.” G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 17 / 24 Dimensione dell’effetto come associazione La dimensione dell’effetto indica la relazione esistente fra una variabile e l’altra, espressa in modo standardizzato la d di Cohen (e la g di Hodge) non ci riescono Tuttavia abbiamo visto un’indice statistico che esprime esattamente l’associazione di due variabili: la correlazione Per questo motivo, sono state sviluppate delle formule che esprimono la dimensione dell’effetto in termini di associazione (cioè di correlazione) G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 18 / 24 Dimensione dell’effetto come associazione Il coefficiente phi è anche un indice di associazione fra le due variabili Un indice di associazione misura la “forza” con cui le due variabili sono legate fra loro Per questo motivo, φ misura anche la dimensione dell’effetto Il χ2 ci dice che le due variabili sono fra di loro dipendenti o indipendenti ed effettua un test probabilistico Rifiutando l’ipotesi nulla, stiamo solo dicendo che, probabilmente, c’è un legame fra le variabili all’interno della popolazione da cui abbiamo estratto il campione φ ci dice invece quanto le due variabili sono legate fra loro G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 19 / 24 Dimensione dell’effetto come associazione r φ in una tabella 2x2 corrisponde ad una r di Pearson il coefficiente di contingenza (C) è proposto dal vostro libro come un sostituto di φ per tabelle diverse da 2x2 ma, anche se oscilla fra 0 e 1, non è propriamente una correlazione Anche il V di Cramer è un effect size per tabelle diverse da 2x2 ed è considerato una stima migliore di C (Ellis, 2010) G. Rossi (Dip. Psicologia) ElemPsico rφ = φ = s C= χ2 N χ2 N + χ2 s V di Cramer = χ2 N (k − 1) con k = min(r, c) 2014-2015 20 / 24 Dimensione dell’effetto come associazione Anche nel caso di un t-test per campioni indipendenti si può calcolare una misura di associazione Se indichiamo i due gruppi con 0 e 1, la normale correlazione di Pearson corrisponde a una correlazione punto-biseriale (rbis o rpb ) ma è più semplice usare una formula che trasforma t in r s t2 rbis = t2 + df G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 21 / 24 Utilizzo della dimensione dell’effetto La dimensione dell’effetto è importante in ambito statistico perché ha aperto la strada ad almeno due approcci nuovi L’analisi della potenza: lo studio dell’errore di II tipo (o β) [capitolo 29] La metanalisi: le ricerche sulle ricerche su uno stesso argomento La metanalisi è una tecnica statistica che studia i risultati di ricerca, in particolare i risultati delle analisi statistiche di diverse ricerche per vedere se gli effetti riscontrati sono in qualche modo legati a caratteristiche particolari. G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 22 / 24 Utilizzo della dimensione dell’effetto La metanalisi sta sostituendo le rassegne bibliografiche perché le migliora Una ricerca bibliografica è la raccolta/riassunto di articoli di ricerca su un particolare argomento lo scopo è quello di riassumere i risultati ottenuti e le situazioni in cui un determinato strumento funziona (oppure in quali circostanze si presenta un certo effetto) I lavori trovati vengono generalmente accostati l’uno all’altro per variabili misurate confrontati per tipo di campione tipo di variabili dipendenti (misurazioni diverse dello stesso costrutto) variabili indipendenti usate risultati ottenuti G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 23 / 24 Utilizzo della dimensione dell’effetto La metanalisi permette di confrontare queste ricerche, non solo teoricamente, ma anche statisticamente la dimensione dell’effetto di ogni ricerca, diventa la misura su cui valutare le ricerche e su cui applicare le analisi statistiche comuni (in genere l’analisi della varianza) in questo modo si può vedere se gli effetti sono più grandi in un certo tipo di campione oppure con certi tipi di strumenti (variabili indipendenti) G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 24 / 24
© Copyright 2024 Paperzz
