Evaluation du savoir-faire en informatique

Tests de concordance de scripts

L’évaluation est une phase importante dans toute formation. Elle revêt de nombreuses formes (examen écrit, oral, DS, TP noté, stage, projet, mise en situation, …). Il est assez facile de mesurer l’acquisition de connaissances des étudiants de façon traditionnelle (ex : devoir surveillé, examen, …) ou avec les TICE (ex : qcm, …). Par contre, la mesure du raisonnement n’est pas toujours évidente. Les mises en situation (stage, projet, …) sont bien souvent évaluées de façon globale.

On attribue aux étudiants une note recouvrant aussi bien leur savoir-être (ex : être ponctuel), leur savoir ex : connaissance technique) et leur savoir-faire (ex : expertise). Dans ce projet, nous nous intéressons à évaluer de façon isolée le raisonnement des étudiants en situation professionnelle.

Pour ce faire, les formations dans le domaine de la santé ont recours à un outil particulier, le Test de Concordance de Script (TCS), qui évalue le raisonnement en situations incertaines. Ces situations correspondent à la vie professionnelle. Il s’agit de problèmes mal définis, avec des données incertaines et pour lesquels plusieurs solutions sont possibles. Ces TCS permettent d’évaluer les raisonnements des étudiants dans ces situations en les confrontant avec ceux d’experts.

Actuellement, le TCS est essentiellement exploité en milieu médical (médecine générale, pédiatrie, neurochirurgie, chirurgie, urologie, radiologie, pharmacie, …) dans de nombreuses universités (Liège, Montréal, Québec, Calgary, New York, Marseille, Tours, Bobigny, Limoges, Lyon, Rouen, Bordeaux, …). À notre connaissance, il n’a jamais été exploité en informatique.

Récompense du projet TCS : Trophées des Grandes Ecoles 2010, mention spéciale dans la catégorie Innovation pédagogique


Objectifs :

Ce projet vise à appliquer cette approche dans le domaine de l’informatique, afin d’évaluer le niveau minimal en informatique que tout jeune ingénieur doit aujourd’hui posséder quel que soit son domaine de spécialisation. Il s’agit de mesurer les raisonnements liés à l’informatique à l’issue d’un cycle de base (Licence, ou cycle pré-gradué).

Les objectifs sont de :
- Mesurer le raisonnement des étudiants en informatique pour mieux évaluer leurs compétences
- Fournir aux étudiants un outil d’auto-évaluation sur leurs capacités afin de les aider à se situer et progresser
- Mieux comprendre pourquoi un étudiant atteint les compétences demandées alors qu’un autre n’y arrive pas. Si les TCS montrent leur efficacité en auto-évaluation, on envisagera ensuite de s’en servir comme d’un test certificatif en complément d’évaluations traditionnelles.

Projet GEV

Partenaires du projet : Écoles des Mines de Nantes, de Douai et d’Alès, École Centrale de Nantes, INSA de Rouen

Le Test de Concordance de Script : Définition et principes du TCS

Vignettes TCS : vous trouverez ci-dessous des fichiers à télécharger contenant les vignettes par domaine informatique, élaborées par l’École Centrale de Nantes et l’École des Mines de Nantes :

TCS Algorithmique et programmation (.rtf)
TCS Structure de données (.rtf)
TCS-Système d’information et bases de données (.rtf)
TCS Programmation par Objet (.rtf)
TCS Méthodes logicielles (.rtf)
TCS Système d’information et droit (.rtf)
TCS- fichier des cotations des experts (numbers) et (excel)

 

2 outils pour utiliser les TCS

Sur Moodle

Les TCS sont disponibles sur Moodle pour de l’auto-évaluation par les élèves mais aussi pour que les enseignants puissent créer un parcours d’évaluation pour leurs élèves à l’adresse suivante : https://imedia.mines-nantes.fr/tcs

Guide d’accompagnement : consultez le fichier

Partie étudiant : Accès aux TCS, déroulement de l’évaluation, score
Partie enseignant : Créer des vignettes, des parcours, et apprendre à les gérer
Fichiers TXT : contenant les vignettes et les scores

Sur Evalutoile

L’outil Evalutoile de l’Université de Bordeaux II est une application de la théorie TCS permettant la création et l’évaluation en ligne. Les évaluations sont en fait des parcours d’évaluations composés d’étapes : accès à Evalutoile

 

Guide d’accompagnement : consultez le fichier

Partie étudiant : Accès aux TCS, déroulement de l’évaluation, score
Partie enseignant : Créer des vignettes, des parcours, et apprendre à les gérer

En savoir plus

Site de référence que les TCS : http://www.cme.umontreal.ca/tcs/

Communication sur le projet

Guillaume Moreau, Morgan Magnin, Christian Colin, Sophie Lorenzo. Un nouvel outil pour l’évaluation des compétences des étudiants : les tests de concordance de scripts, Séminaire Vivaldi, Le Mans, France, avril 2011. Vidéo de l’intervention de Morgan Magnin au séminaires Vivaldi (iTunesU)

Guillaume Moreau, Morgan Magnin. Atelier sur les tests de concordance de scripts en informatique. Séminaire du C2i niveau 2 métiers de l’ingénieur, Nîmes, France, juin 2010.

Morgan Magnin, Guillaume Moreau. Un nouvel outil pour l’évaluation des compétences en informatique dans une démarche compétence : les tests de concordance de scripts. Réunion des correspondants TICE de la CRGE Pays de la Loire, Angers, France, juin 2010.

Morgan Magnin. Tests de concordance de scripts. Réunion des correspondants TICE du groupe des École Centrale, Nantes, France, juin 2009.

Consultez l’article et la présentation Utilisation des Tests de Concordance de Script (TCS) pour l’évaluation du savoir-faire en informatique à l’École Centrale de Nantes

Vue 7354 fois par 3542 visiteurs


Abonnez-vous à notre fil RSS