Retour à l'accueil
accueil renseignements diffusion
Recherche
avancée
 Numéro 77, octobre 2011 
eTCALS, le test d'anglais adaptatif Version Imprimable  Version imprimable
pour le réseau collégial

Réjean Jobin, coordonnateur au développement des ressources  (CCDMD)

Le Centre collégial de développement de matériel didactique a entrepris à la fin de 2008 un projet d’informatisation d’un test de classement d’anglais langue seconde (le TCALS imprimé). Nous avons d’abord rapidement développé une version informatisée du test écrit  (la version « classique ») pour faciliter la passation du test dans le réseau collégial. C’était la partie la plus simple du projet.

L’objectif principal était de mettre au point un test modernisé, renouvelé et surtout adaptatif durant l’année 2011. Un test adaptatif a la capacité de tenir compte des réponses du sujet et de pouvoir situer rapidement son niveau de compétence en lui fournissant des questions correspondant à son niveau. Il est particulièrement intéressant d’utiliser des tests adaptatifs pour l’évaluation de compétences comme la maîtrise d’une langue.

En effet, un test adaptatif permet d’offrir une multitude de variétés de questions. Ainsi, chaque sujet évalué doit répondre à des questions qui sont différentes de celles des autres sujets évalués et chacun des tests comporte un nombre de questions variable selon le niveau de compétence des sujets évalués. Cet aspect adaptatif nécessite le développement d’algorithmes mathématiques et informatiques assez complexes afin d’assurer un fonctionnement optimal du test.

Voici quelques illustrations du changement apporté. Un étudiant devait, avec le TCALS classique, répondre à 85 questions (items). Dans la version adaptative (eTCALS), le nombre de questions varie entre 25 et 55. S’il est très bon ou très mauvais, l’étudiant sera rapidement classé en répondant à un minimum de questions (25  à 30). S’il a une connaissance moyenne de la langue, il répond à un peu plus de questions, mais rarement à plus de 55. Comme il ne répond pas à toutes les questions, il peut repasser le test au besoin sans fausser les données.

De nouvelles questions ont été ajoutées pour permettre le renouvellement d’items; le test comprend maintenant 235 items. On a toutefois fait encore mieux, en élaborant un mécanisme qui permet de calibrer automatiquement les nouveaux items, permettant ainsi d’ajouter avec l’éditeur web autant de nouvelles questions que nécessaire à l’avenir. Il sera donc facile de renouveler les items dans les prochaines années sans avoir à retoucher au test et à la programmation.


COMMENT FONCTIONNE LE eTCALS
Le test est centralisé sur le serveur du CCDMD. On y trouve quatre modules : module d’administration, module d’édition, module des résultats et module de passation.

 

1


Le module d’administration sert à la création des éditeurs, des abonnements et à la modification des paramètres. Seul le CCDMD est autorisé à l’utiliser.

Le module d’édition des questions permet, comme son nom le dit, d’éditer des catégories de questions et des questions. Tout comme le module d’administration, ce module est à l’usage exclusif du CCDMD.

 

2

 

Le module de gestion des résultats par collège permet au gestionnaire d’un collège de créer des groupes d’étudiants, d’accéder aux résultats et de consulter diverses données concernant l’abonnement et les coûts d’utilisation. Finalement, le module de passation permet aux étudiants d’accéder au test.

Il est difficile pour vous, si vous n’êtes pas gestionnaire du TCALS, d’apprécier avec justesse  les différences de ce test adaptatif par rapport à la version classique. Sachez toutefois que la gestion des résultats et la consultation des données sont grandement améliorées. Nous avons aussi sécurisé davantage le logiciel, et surtout, nous nous sommes donné un outil exceptionnel de classement, un outil moderne et qui pourra s’autorenouveler rapidement selon les besoins.

 

3

 

VALIDITÉ DES RÉSULTATS
Une dernière question importante s’est posée lors du développement de cette version adaptative : la nouvelle version classe-t-elle les étudiants de la même façon que la version classique? Pour répondre à cette question, nous avons entrepris une étude comparative. Nous avons recruté trois groupes d’étudiants dans trois collèges différents. Chaque étudiant devait effectuer les deux tests (classique et adaptatif). Nous avons contrebalancé les effets de passation en alternant l’ordre de présentation.

Au total, 62 étudiants ont participé à notre expérimentation. Les résultats sont plus que satisfaisants : nous avons obtenu une corrélation de 0,94 entre les résultats aux deux tests. Bref, les étudiants ont été classés de la même façon aux deux tests. Comme nous n’avions pas le choix de réussir, inutile de vous dire à quel point nous sommes fiers de ce produit et des personnes qui l’ont réalisé!Pour obtenir des renseignements sur le eTCALS, consultez son site.

Creative Commons License Cette création est mise à disposition sous un contrat Creative Commons. Dernières mises à jour : 10/04/2015