Ce document montre comment l'analyse factorielle peut être utilisée
dans l'enseignement de "tous les jours" au niveau de l'évaluation.
Une telle analyse permet d'une part de classer les questions (ou tests),
en distinguant par exemple celles dont la difficulté est liée
au traitement et celles où la compréhension de l'énoncé
représente la difficulté principale, et d'observer des profils
d'élèves.
La situation
Les données concernent un cours d'informatique suivi dans une
école professionnelle par 27 étudiants. Les résultats
obtenus tout au long de l'année sont réunis dans un tableau
de 27 lignes (une par étudiant, ce sont les "observations")
et 19 colonnes (les "notes", ce sont les "variables")
dont voici la description:
- TEST1: note obtenue à un contrôle de connaissance (brèves
questions ouvertes);
- TEST2: note obtenue à un contrôle de connaissance (QCM)
- NOTE_THE: moyenne ajustée des deux résultats précédents.
L'information est redondante mais a été ajoutée
pour des questions pratiques et sert également de point de repère
pour le niveau général.
Ces notes varient de façon classique de 1 à 6. Les 7 notes
suivantes sont des appréciations à trois niveaux concernant
des aptitudes plus générales:
- CONF: degré de conformité des rapports rendus aux standard
proposés
- JUSTE: degré de justesse des informations figurant dans les
rapports
- INTERET: intérêt du contenu général des
rapports
- CLARETE: clareté dans la présentation
- P_EN_MAIN: intérêt des exemples mentionnés pour
une prise en main
- AGRESSIV: "agressivité" montrée dans la recherche
d'information
- EXPOSE: appréciation concernant l'exposé oral d'un travail
personnel
La valeur suivante est MOY_TP qui est une moyenne ajustée (note
de 1 à 6) des 7 résultats précédents. La même
remarque que pour NOTE_THE s'applique ici.
Les 7 valeurs suivantes représentent la notation de l'épreuve
d'examen (entre parenthèses l'étendue des points pouvant
être attribués), soit EX1 (0-6), EX2 (0-6), EX3 (0-6), EX4
(0-2), EX5 (0-4), EX6 (0-6), EX7 (0-6). La dernière valeur (MOY_EXAM)
est la moyenne ajustée des 7 notes précédentes (cette
note varie entre 1 et 6).
L'analyse
L'analyse effectuée est à composantes principales. Les
notes seront tout d'abord "réduites" (chaque nouvelle
variable aura une moyenne mise de zéro et un écart type
de 1). Puis il aura extraction des facteurs. 4 facteurs sont demandés
qui représentent ici respectivement 31%, 14%, 10% et 9 % de la
variance (variation) totale. En tout, 65% de la variance est expliquée.
Le tiers de la variance restera inexpliquée.
Le pas suivant est de trouver une interprétation des facteurs.
On considère pour cela le tableau présentant les "coordonnées"
des anciennes variables par rapport aux facteurs (corrélation):

Ce tableau est rendu plus parlant par une représentation graphique.
La figure suivante représente les deux premiers facteurs.

Le premier facteur (qui est toujours un facteur "général")
représente le niveau scolaire de l'étudiant par rapport
à la moyenne de la classe (idée de régularité).
Cette interprétation est dûe au fait que le premier facteur
est toujours un facteur général. Dans le cas particulier
on le constate par le haut degré de saturation des trois moyennes
(MOY_EXAM, NOTE_THE, MOY_TP).
Le deuxième facteur oppose EX1 et INTERET. EX1 est une question
faisant appel à une référence très précise
des notes de cours. Ce facteur est donc interprété comme
l'aspect utilisation de la documentation. Cette interprétation
contient aussi l'idée d'un travail important mais peu de recul
dans la matière. C'est une connaissance un peu superfielle. La
situation respective sur cet axe des trois variables MOY_TP, NOTE_THE
et MOY_EXAM colle bien avec cette interprétation.
| EX1: Quelles sont les
trois principales fonctions attendues d'un système cryptographique
? Comment ces fonctions sont-elles réalisées avec un
système à clé publique (clé révélée)
? |
A noter que seuls ces deux premiers facteurs, possèdent un degré
de saturation jugé "significatif" par rapport à
des variables initiales.
Toutefois, il est possible de continuer l'interprétation pour
les deux autres facteurs.
Le troisième facteur peut être inteprété avec
l'idée de "compréhension". Il correspond par exemple
au degré de réussite à des question nécessitant
un certain degré de synthèse parmi les sujets étudiés,
par exemple EX2 et EX6.
| EX2:
Expliquez brièvement l'utilité du protocole MIME. Quel
en a été le premier usage ? Donnez quelques exemples
liés à l'encodage ("shiftage") des documents.
Où retrouve-t-on des informations liées à MIME
dans des documents HTML ? |
EX6: Une entreprise
réalise de la vente par correspondance par Internet. Une "interface"
(logée dans un navigateur standard) doit donc être réalisée
qui permet de sélectionner des produits, vérifier l'état
de la commande, introduire les coordonnées du client, vérifier
une certaine cohérence de ces coordonnées, envoyer la
commande.
Deux solutions extrêmes sont possibles en ce qui concerne l'étape
qui précède l'enregistrement de la commande (qui se
fera toujours sur le serveur !) : une solution "tout client"
(toutes les données sont transmises lors de la première
requête sous la forme, par exemple, d'un tableau d'enregistrements),
ou une solution "tout serveur".
Donnez quelques avantages et inconvénients de chacune de ces
méthodes extrêmes. Donnez un critère permettant
de choisir la solution la plus adéquate et donnez la description
d'une méthode intermédiaire. |
Le quatrième facteur semble lié à la réussite
à des items dont l'énoncé représente une certaine
difficulté (leur réussite peut donc être liéeà
une capacité entre compréhension et intuition). EX6, par
exmple est à nouveau parmi les éléments les plus
saturés, alors que les tests (notamment QCM) sont à l'opposé.
Il peut également correspondre à une certain intuition ,
voire une nuance de compréhension.
On peut examiner les autres items en regard de cette interprétation.
On voir par exemple que EX5 est essentiellement lié au niveau général.
Il est neutre par rapport à la bonne utilisation de la documentation,
mais que c'est un sujet difficement traitable par la seule compréhension
(en effet, il s'agissait de se souvenir de discussion menée à
ce propos durant les cours). Par ailleurs, l'énoncé ne pose
pas de difficulté majeure.
| EX5: Des documents sont
codés dans un format propriétaire (i.e. qui vous appartient).
Vous publiez ces documents sur Internet. Pour les visualiser vos correspondants
devront installer des modules logiciels sur leur ordinateurs "clients".
Indiquez des solutions possibles et leurs caractéristiques. |
Finalement pour chacun des 27 étudiants, des notes ont été
calculées à partir des facteurs (renormalisation entre 1
et 6). , les pondération à appliquer 5.9, 2.6, 2, 1.8).
Avec toutes les précautions nécessaires, on a donc un ensemble
de profils d'élèves donnés par un niveau général
(régularité), l'utilisation de ressources documentaires
(un peu superficielle), l'apport lié à la compréhension
et finalement la facilité à traiter des énoncés
"complexes".
L'observation 1 montre un étudiant relativement peu régulier,
un travailleur de la dernière minute, mais qui fait montre d'une
compréhension en profondeur.
L'observation 6 est lié à un cas que l'on pourrait qualifié
de scolaire.
:L'observation 11 représente un profil d'un étudiant travailleur
mais ayant des difficultés.
L'observation 18, est maximum du point de vue du facteur général.

Conclusion
En définitive, on voit que des outils principalement
utilisés pour la "recherche", pourraient s'avérer
utile dans l'enseignement de tous les jours. De nombreux logiciels existent
qui permettent de faire aisément ces analyses, mais la partie délicate
reste l'interprétation qui devrait toujours rester nuancée.