Une analyse factorielle "ordinaire"

 

Ce document montre comment l'analyse factorielle peut être utilisée dans l'enseignement de "tous les jours" au niveau de l'évaluation. Une telle analyse permet d'une part de classer les questions (ou tests), en distinguant par exemple celles dont la difficulté est liée au traitement et celles où la compréhension de l'énoncé représente la difficulté principale, et d'observer des profils d'élèves.

La situation

Les données concernent un cours d'informatique suivi dans une école professionnelle par 27 étudiants. Les résultats obtenus tout au long de l'année sont réunis dans un tableau de 27 lignes (une par étudiant, ce sont les "observations") et 19 colonnes (les "notes", ce sont les "variables") dont voici la description:

  • TEST1: note obtenue à un contrôle de connaissance (brèves questions ouvertes);
  • TEST2: note obtenue à un contrôle de connaissance (QCM)
  • NOTE_THE: moyenne ajustée des deux résultats précédents. L'information est redondante mais a été ajoutée pour des questions pratiques et sert également de point de repère pour le niveau général.

Ces notes varient de façon classique de 1 à 6. Les 7 notes suivantes sont des appréciations à trois niveaux concernant des aptitudes plus générales:

  • CONF: degré de conformité des rapports rendus aux standard proposés
  • JUSTE: degré de justesse des informations figurant dans les rapports
  • INTERET: intérêt du contenu général des rapports
  • CLARETE: clareté dans la présentation
  • P_EN_MAIN: intérêt des exemples mentionnés pour une prise en main
  • AGRESSIV: "agressivité" montrée dans la recherche d'information
  • EXPOSE: appréciation concernant l'exposé oral d'un travail personnel

La valeur suivante est MOY_TP qui est une moyenne ajustée (note de 1 à 6) des 7 résultats précédents. La même remarque que pour NOTE_THE s'applique ici.

Les 7 valeurs suivantes représentent la notation de l'épreuve d'examen (entre parenthèses l'étendue des points pouvant être attribués), soit EX1 (0-6), EX2 (0-6), EX3 (0-6), EX4 (0-2), EX5 (0-4), EX6 (0-6), EX7 (0-6). La dernière valeur (MOY_EXAM) est la moyenne ajustée des 7 notes précédentes (cette note varie entre 1 et 6).

L'analyse

L'analyse effectuée est à composantes principales. Les notes seront tout d'abord "réduites" (chaque nouvelle variable aura une moyenne mise de zéro et un écart type de 1). Puis il aura extraction des facteurs. 4 facteurs sont demandés qui représentent ici respectivement 31%, 14%, 10% et 9 % de la variance (variation) totale. En tout, 65% de la variance est expliquée. Le tiers de la variance restera inexpliquée.

Le pas suivant est de trouver une interprétation des facteurs. On considère pour cela le tableau présentant les "coordonnées" des anciennes variables par rapport aux facteurs (corrélation):

Ce tableau est rendu plus parlant par une représentation graphique. La figure suivante représente les deux premiers facteurs.

Le premier facteur (qui est toujours un facteur "général") représente le niveau scolaire de l'étudiant par rapport à la moyenne de la classe (idée de régularité). Cette interprétation est dûe au fait que le premier facteur est toujours un facteur général. Dans le cas particulier on le constate par le haut degré de saturation des trois moyennes (MOY_EXAM, NOTE_THE, MOY_TP).

Le deuxième facteur oppose EX1 et INTERET. EX1 est une question faisant appel à une référence très précise des notes de cours. Ce facteur est donc interprété comme l'aspect utilisation de la documentation. Cette interprétation contient aussi l'idée d'un travail important mais peu de recul dans la matière. C'est une connaissance un peu superfielle. La situation respective sur cet axe des trois variables MOY_TP, NOTE_THE et MOY_EXAM colle bien avec cette interprétation.

EX1: Quelles sont les trois principales fonctions attendues d'un système cryptographique ? Comment ces fonctions sont-elles réalisées avec un système à clé publique (clé révélée) ?

A noter que seuls ces deux premiers facteurs, possèdent un degré de saturation jugé "significatif" par rapport à des variables initiales.

Toutefois, il est possible de continuer l'interprétation pour les deux autres facteurs.

Le troisième facteur peut être inteprété avec l'idée de "compréhension". Il correspond par exemple au degré de réussite à des question nécessitant un certain degré de synthèse parmi les sujets étudiés, par exemple EX2 et EX6.

EX2: Expliquez brièvement l'utilité du protocole MIME. Quel en a été le premier usage ? Donnez quelques exemples liés à l'encodage ("shiftage") des documents. Où retrouve-t-on des informations liées à MIME dans des documents HTML ?
EX6: Une entreprise réalise de la vente par correspondance par Internet. Une "interface" (logée dans un navigateur standard) doit donc être réalisée qui permet de sélectionner des produits, vérifier l'état de la commande, introduire les coordonnées du client, vérifier une certaine cohérence de ces coordonnées, envoyer la commande.

Deux solutions extrêmes sont possibles en ce qui concerne l'étape qui précède l'enregistrement de la commande (qui se fera toujours sur le serveur !) : une solution "tout client" (toutes les données sont transmises lors de la première requête sous la forme, par exemple, d'un tableau d'enregistrements), ou une solution "tout serveur".

Donnez quelques avantages et inconvénients de chacune de ces méthodes extrêmes. Donnez un critère permettant de choisir la solution la plus adéquate et donnez la description d'une méthode intermédiaire.

Le quatrième facteur semble lié à la réussite à des items dont l'énoncé représente une certaine difficulté (leur réussite peut donc être liéeà une capacité entre compréhension et intuition). EX6, par exmple est à nouveau parmi les éléments les plus saturés, alors que les tests (notamment QCM) sont à l'opposé. Il peut également correspondre à une certain intuition , voire une nuance de compréhension.

On peut examiner les autres items en regard de cette interprétation. On voir par exemple que EX5 est essentiellement lié au niveau général. Il est neutre par rapport à la bonne utilisation de la documentation, mais que c'est un sujet difficement traitable par la seule compréhension (en effet, il s'agissait de se souvenir de discussion menée à ce propos durant les cours). Par ailleurs, l'énoncé ne pose pas de difficulté majeure.

EX5: Des documents sont codés dans un format propriétaire (i.e. qui vous appartient). Vous publiez ces documents sur Internet. Pour les visualiser vos correspondants devront installer des modules logiciels sur leur ordinateurs "clients". Indiquez des solutions possibles et leurs caractéristiques.

Finalement pour chacun des 27 étudiants, des notes ont été calculées à partir des facteurs (renormalisation entre 1 et 6). , les pondération à appliquer 5.9, 2.6, 2, 1.8). Avec toutes les précautions nécessaires, on a donc un ensemble de profils d'élèves donnés par un niveau général (régularité), l'utilisation de ressources documentaires (un peu superficielle), l'apport lié à la compréhension et finalement la facilité à traiter des énoncés "complexes".

L'observation 1 montre un étudiant relativement peu régulier, un travailleur de la dernière minute, mais qui fait montre d'une compréhension en profondeur.

L'observation 6 est lié à un cas que l'on pourrait qualifié de scolaire.

:L'observation 11 représente un profil d'un étudiant travailleur mais ayant des difficultés.

L'observation 18, est maximum du point de vue du facteur général.

 

Conclusion

En définitive, on voit que des outils principalement utilisés pour la "recherche", pourraient s'avérer utile dans l'enseignement de tous les jours. De nombreux logiciels existent qui permettent de faire aisément ces analyses, mais la partie délicate reste l'interprétation qui devrait toujours rester nuancée.

(c) L.-O. Pochon, IRDP, 1999