Pour télécharger les exemples et les données : cliquer sur le texte souligné.*

(voir aussi les exemples traités dans le manuel Généralisabilité, mode d'emploi**)

La généralisabilité : à quoi ça sert, comment on s'en sert ; exemple introductif.                              

Analyse d'un questionnaire d'attitude à l'égard de la lecture (PISA 2001). Exemple introductif à l'intention de débutants, présenté pas à pas : de l'acquisition des données à leur interprétation. Facettes : Classes, Élèves, Items, Dimension de formulation (positive, négative) des items. D. Bain, groupe Edumétrie, 2004 (240 ko).

Fichiers de données (lisible par EduG 3.04) :ATTLect1_9itemsData.zip (3 facettes) ; AttLect1_8itemsData.zip (4 facettes).

Analyse de généralisabilité sur le questionnaire d'évaluation du colloque ADMEE/SSRE 2002.

Étude de la fiabilité d'un questionnaire récoltant l'avis des participants à un colloque sur l'intérêt de cette manifestation et sur la qualité de son organisation ; présentation de l'analyse et de ses résultats. Facettes : Participants, Expérience du thème traité chez les participants, Items, Dimensions du questionnaire (organisation matérielle et modalités de communication). D. Bain, groupe Edumétrie, 2003 (81 ko).

Fichiers de données (lisible par EduG 3.04) : EvacolloqueData.zip.

Des goûts et des couleurs ou Quel crédit accorder aux "tests" dans le secteur de la consommation?

Illustration d'une utilisation possible de la généralisabilité dans le domaine des tests organisés par les associations de consommateurs ou par les médias. Évaluation de fondues au fromage à partir de deux plans d'observations à 3 et à 4 facettes : 1. Fondues, Évaluateurs, Critères d'évaluation (aspect, onctuosité, légèreté, persistance du goût et goût) 2. Types de fondues (industrielles vs artisanales), Fondues, Évaluateurs, Critères d'évaluation. D. Bain, article publié dans le Bulletin de l'ADMÉÉ 97/3 - 98/1, pp. 15-17 (87 ko).

Fichiers de données (lisible par EduG 3.04) pour les plans resp. à 3 et 4 facettes : FonduesData3fac.zip ;FonduesData4fac.zip

La théorie de la généralisabilité appliquée à un instrument de mesure des attitudes face à l'apprentissage d'une langue étrangère.

Présentation de la théorie de la généralisabilité et de son application à un questionnaire ; analyse et interprétation des résultats d'un dispositif test-retest (évolution du niveau d'attitude). Plan d'observation complexe à 8 facettes : Établissement, Filières, Classes, Sujets (élèves), Moment (pré- post-test), Domaines d'attitude, Thème d'attitude, Items. G. Pini & D. Hexel, article publié dans Education et recherche, 20, 2/1998, 289-302 (66 ko).

Fichiers de données (lisible par EduG 3.04) :AttitudeAllData.zip ; AttitudeAllData.gen.

*Pour tout renseignement complémentaire, s'adresser à François Ducrey ou à Dagmar Hexel.
** Bain, D. & Pini, G. (1996). Pour évaluer vos évaluations. La généralisabilité : mode d'emploi. Genève : CRPP/DIPCO, Direction générale du Cycle d'orientation.

Pour télécharger les fichiers correspondant à l'exercice : cliquer sur le texte souligné.

L'évaluation de l'attitude face à la lecture en 1ère primaire.

Est-il possible d'évaluer de façon fiable, au moyen d'un bref questionnaire rempli par l'enseignante, l'attitude d'élèves de 6-7 ans à l'égard de la lecture, ainsi que l'évolution de cette attitude en cours d'année, alors même que l'apprentissage systématique de cette compétence n'en est encore qu'à ses débuts ?

Trois fichiers sont à votre disposition pour cet exercice.

Un fichier Word de présentation de l'exercice avec des éléments de corrigé: AttLectIRDPprépost.zip.

Un fichier de données en format texte:AttLect1Pdata.zip.

Un fichier de la base construite à partir des données de l'exercice: AttLectIRDP1P.zip.

C'est Lee J. Cronbach qui a conçu la théorie de la généralisabilité comme un cadre théorique général intégrant la multitude des formules proposées pour estimer la fidélité des tests. C'est ensuite Robert Brennan qui a assuré les bases statistiques de cette théorie. Il est donc nécessaire, pour ceux qui veulent revenir aux sources, de consulter leurs ouvrages fondateurs, ou les principaux manuels présentant leurs idées. Voilà pourquoi des références en langue anglaise sont données ci-dessous.

Cardinet, Tourneur et Allal ont proposé en 1976 d'exploiter la symétrie du modèle de l'ANOVA pour traiter des problèmes de mesure hors de la psychométrie, notamment en éducation. Ils ont suscité tout un courant de recherche qui a élargi le modèle de la généralisabilité. C'est la seconde intention de cette liste, de faire connaître ces travaux dont la diffusion a été limitée par le fait qu'ils étaient écrits en français.

Comme ces deux types de publications se recouvrent en partie, nous avons jugé préférable de les réunir dans une liste de références commune.

La bibliographie en version PDF

Tout scientifique doit contrôler la généralisabilité des mesures qu'il utilise, quel que soit son domaine de recherche. On voit bien, en parcourant la bibliographie téléchargeable ci-dessous, que le modèle proposé par Cardinet, Tourneur et Allal, concerne autant les Sciences de la Nature, la biologie et la médecine, que les Sciences sociales. Tous ces articles se réfèrent en effet à ce modèle statistique qui déborde la psychométrie.

Autres domaines d'application PDF

Chacun connaît la richesse des sources documentaires accessibles par Internet. On en connaît aussi les défauts. Les liens ci-dessous présentent ces mêmes avantages et inconvénients. Ils peuvent servir à engager une recherche visant, par exemple, à éclairer les domaines connexes à celui de la fidélité des mesures, ou révélant d'autres approches statistiques. Mais il ne faut pas en attendre une présentation englobante et structurée comme celle d'un manuel. La liste fournit seulement un échantillon aléatoire de pages traitant de généralisabilité . Elle pourra être affinée ou développée en fonction des suggestions des lecteurs. Veuillez communiquer vos remarques à François Ducrey ou à Dagmar Hexel.

1. Présentation rapide de la théorie de la généralisabilité

http://www.psychology.sdsu.edu/faculty/matt/Pubs/GThtml/GTheory_GEMatt.html

2. Cours plus mathématique

http://www.stanford.edu/dept/SUSE/SEAL/Reports_Papers/Generalizability%20Theory_ESM_Final.doc

3. Présentation détaillée

http://writing.colostate.edu/guides/research/gentrans/com2b1.cfm

4. Logiciels en anglais

http://www.education.uiowa.edu/centers/casma/computer-programs.aspx

Relations entre le coefficient de généralisabilité absolu et les indices Rhô carré et Oméga carré

Objectif du texte et table des matières

L'objectif de ce texte est d'illustrer quelques caractéristiques du coefficient de généralisabilité et de montrer les relations que ce coefficient entretient avec d'autres indices couramment utilisés en statistique (Rhô carré et Oméga carré notamment). Développé dans le cadre de la théorie de la généralisabilité, le coefficient du même nom présente en effet de nombreuses analogies avec d'autres indices, élaborés principalement dans le cadre de l'analyse de la variance, et dont le but est d'évaluer l'intensité de l'effet qu'un facteur ou une interaction entre facteurs exercent sur la variabilité totale des résultats.

Avant d'illustrer les relations et les analogies qui viennent d'être mentionnées, on précisera d'abord quelques points concernant le coefficient de généralisabilité d’une part et les indices utilisés pour exprimer l’intensité d’un effet d’autre part.

Introduction              

            Le coefficient de généralisabilité                 

            Les indices mesurant l’intensité de l’effet               

            1.         Le cas de deux facteurs / facettes croisé(e)s                        

                          1.1  Facteur / facette aléatoire: Rhô carré (ρ2) et Coef_G absolu                      

Proposition 1 :

On montre que … la valeur de Rhô carré calculée sur un schéma à mesures répétées avec un facteur aléatoire correspond à la valeur de Coef_G absolu calculé pour deux facettes croisées aléatoires infinies à une seule différence près: dans le cas du Coef_G le terme d'erreur au dénominateur est divisé par n car ce terme estime une variance d'échantillonnage (variance des moyennes d'échantillons aléatoires de n observations).

                        1.2       Facteur / facette fixé(e): Oméga carré (ω2) et Coef_G absolu          

Proposition 2 :

On montre que …la valeur de Oméga carré calculée sur un schéma à mesures répétées avec un facteur fixé correspond à la valeur de Coef_G absolu calculée pour une facette de différenciation fixée et une facette d'instrumentation aléatoire infinie à une seule différence près: dans le cas du Coef_G le terme d'erreur au dénominateur est divisé par n car ce terme estime une variance d'échantillonnage (variance des moyennes d'échantillons aléatoires de n observations).

            2.         Le cas de deux facteurs / facettes niché(e)s             

                           2.1     Facteur / facette aléatoire: Rhô carré (ρ2) et Coef_G absolu                      

Proposition 3 :

On montre que …la valeur de Rhô carré calculée sur un schéma comportant un facteur aléatoire correspond à la valeur de Coef_G absolu calculé pour deux facettes aléatoires infinies (facette d'instrumentation nichée dans la facette de différenciation) à une seule différence près: dans le cas du Coef_G le terme d'erreur au dénominateur est divisé par n car ce terme estime une variance d'échantillonnage (variance des moyennes d'échantillons aléatoires de n observations).

                             2.2       Facteur / facette fixé(e): Oméga carré (ω2) et Coef_G absolu        

Proposition 4 :

On montre que … la valeur de Oméga carré calculée sur un schéma comportant un facteur fixé correspond à la valeur de Coef_G absolu calculée pour une facette d'instrumentation aléatoire nichée dans une facette de différenciation fixée à une seule différence près: dans le cas du Coef_G le terme d'erreur au dénominateur est divisé par n car ce terme estime une variance d'échantillonnage (variance des moyennes d'échantillons aléatoires de n observations).

             3.    Un coin du voile: qu’en est-il des cas plus complexes ?                  

Annexes: formules utilisées pour calculer l’indice d’intensité                    

Un exemplaire du document peut être obtenu auprès de :  

PLEASE NOTE

An algorithmic error has been detected in EduG Version 5.  Components of variance for interactions involving fixed facets are not always correctly computed. The problem has been resolved in Version 6, which is available for download under the name EduG 6.1 e by clicking on the following link : EduG 6.1 e

If you have previously downloaded an earlier version of EduG, you are advised to replace it immediately with Version 6.1 - e, and to use it to check the results of any G studies you analysed using the earlier version, where these involved fixed facets.

When working interactively with the book Applying Generalizability Theory using EduG, it is nevertheless preferable to continue using Version 5 of EduG, re-distributed here under the name  of PREVIOUS EduG, since the worked examples were prepared using this version.

Data downloading

   From this web page you can download the data files associated with the G-study exercises included in Chapter 5. These data may also be obtained at the following address : http://www.psypress.com/applied-generalizability-theory

 You have the following choices:

1) Download the complete archive DataFiles.zip, containing all five data sets. Note that this file is compressed. Once you have downloaded it, you will have to unzip it ( by double-clicking its icon) before importing into EduG the particular data set that you need. (If necessary, a freeware 'unzip' program as Unzip Me can be downloaded from the internet.)

To download the complete archive     DataFiles.zip

                                   A) Food testing          FonduesData.txt       

                                   B) Reading ability      ReadingScores.txt     

                                   C) Mathematics          MathData.txt

                                   D) Reading interest    AttReadData.txt       

                                   E) Laboratory-based examination     LabData.txt   

If you have any problems with these data files, remember that EduG has its own Help module. You can also download the EduG User Guide from:https://www.irdp.ch/institut/logiciel-1950.html.