Élisabeth Bautier, Patrick Rayou, ESCOL

PISA met indéniablement en évidence des performances des élèves en matière de maîtrise de la langue écrite. Il le fait de façon d'autant plus convaincante que les items qu'il propose, même s'ils supposent in fine la maîtrise de processus en principe enseignés à l'école, empruntent leurs éléments à des contextes "naturels" dans lesquels les adolescents doivent pouvoir se retrouver sans être a priori avantagés ou pénalisés par un rapport à l'école plus ou moins favorable. L'intérêt procuré par la possibilité de comparer les performances de jeunes relevant de systèmes scolaires très différents est évident. Il risque toutefois de ne pas suffire à rendre compte la question de l'éventuelle incohérence entre les réponses d'un même élève aux différentes épreuves et de laisser de côté les raisons des écarts de performance constatés.

La question des différences interculturelles souvent agitée à propos de l'enquête PISA ne serait alors elle-même qu'un sous-ensemble de celles que pose l'hétérogénéité des registres engagés par le questionnaire : répondre correctement suppose certes l'acquisition de mécanismes intellectuels ou de connaissances que facilite peut-être davantage le curriculum formel de tel ou tel système scolaire, mais aussi et surtout la capacité de mobiliser en contexte les éléments pertinents requis par l'exercice. Il s'agit notamment de s'adapter au "format" des questions posées par les différents items et cela ne paraît jamais acquis ni pour l'ensemble des élèves, ni pour des élèves qui, globalement, savent faire avec le questionnaire PISA. Cela signifie pour nous qu'à travers des performances mises en évidences et relativement stabilisées, s'expriment des compétences plus ou moins congruentes avec les attentes des items et dont il doit être possible de restituer le processus.

Une re-catégorisation des productions d'élèves

Pour mettre en évidence les cohérences (ou incohérences) recherchées dont nous avons fait l'hypothèse qu'elles correspondent à la mobilisation volontaire ou non, effective ou non, de ces différents registres pour un même item et pour l'ensemble des item chez un même élève, nous avons donc construit progressivement une grille d'analyse à partir de la lecture de cahiers pris dans leur continuité et en les confrontant à quelques grandes catégories que des travaux de recherche antérieurs mettent en relation avec la réussite ou l'échec des élèves dans l'apprentissage de la langue écrite.

Au-delà des indices de compétence de lecture, nous avons construit deux autres types de catégorisation. Ces deux types correspondent, d'une part, au rapport différencié des élèves au mode “second” d'écrire et de penser, aux activités de reconfiguration qui sont sollicitées pour répondre et réussir aux tâches de PISA et qui, pour être largement convoquées grâce à la familiarité avec la littéracie ne s'y réduisent pas ; d'autre part, à ce que nous nommons “rapport au monde” et qui renvoie à des habitudes de raisonnement de causalité, d'explication, de références et de valeurs.

-Les catégories utilisées pour recoder les réponses des élèves sont les suivantes :

- Les compétences cognitives à traiter le texte.

-La régulation de la lecture et la représentation de la situation de communication

-La façon d'être au monde:

Enfin une série d'indicateurs ont été pris en compte de manière « transversale », c'est-à-dire qu'ils ont été codés dans l'ensemble du cahier et non pas décomptés épreuve par épreuve .

Ils concernent la manière de se situer par rapport aux savoirs scolaires ( Mobiliser des savoirs, des attitudes et des méthodes scolaires (savoirs formels, pratiques ou de contenu ), la présence du sujet dans ses réponses, qu'elle se manifeste par la présence de marques de modalisation ( Modaliser (la compréhension ou l'incompréhension est accompagnée d'un avis personnel et/ou de modalités manifestant le sujet dans le texte ), par une activité intellectuelle de problématisation ( Problématiser (mouvement au sein du discours produit entre singulier et général, personnel et impersonnel, potentiel et réel, fait et opinion… ) et de formulation d'hypothèses ( Faire des hypothèses ), ou qu'à l'inverse le sujet se dérobe ( S'engager, prendre une position personnelle) .

Afin de mieux comprendre les façons de faire des élèves aux épreuves et à leur contenu, et de dégager possiblement des types stables d'élèves, nous avons effectué une analyse longitudinale de certains cahiers caractéristiques de chacune des classes mises au jour par l'analyse statistique effectuée à partir des catégories ci-dessus. Cette analyse met bien en évidence que les réponses des élèves, qu'elles soient bonnes ou erronées, ne sont pas réductibles à des compétences de littéracie, que les mobilisations qui permettent aux élèves de répondre sont hétérogènes et viennent aider ou gêner les élèves par des effets de cumul, positifs ou négatifs, mais rarement compensatoires.

Profils des élèves la classe 1 : quand le texte n'est pas pris comme texte, mais comme expression de soi

Les élèves de la classe 1 ont des usages du langage qui les conduisent à mobiliser d'eux-mêmes mais peu sur le registre du raisonnement et très rarement sur le registre du texte en tant que texte. Tout semble se passer comme si les élèves qui font essentiellement référence à eux-mêmes, à leurs sentiments et à leurs expériences pour écrire ne pouvaient pas construire un autre texte en croisant leur propre voix avec celle du texte. Parce qu'ils sont sans doute aussi prioritairement, dans l'usage d'un genre premier du langage et dans la difficulté de mise en œuvre de processus de secondarisation de leur propre parole et expérience ou pensée, celles-ci ne peuvent être tissées avec les voix de texte qui sont des voix secondes. Les élèves typiques de la classe 1 sont donc des élèves qui se situent dans l'immédiateté de la confrontation au monde quand l'école et ses apprentissages supposent un rapport second et reconfiguré du monde comme objet de travail et de questionnement.

Profil des élèves de la classe 2 : des repéreurs non compreneurs

Bien que des élèves de la classe 1 manifestent des compétences de repérage qui leur permettent de nombreuses bonnes réponses, leurs autres caractéristiques dans les traitements de texte les situent dans une classe spécifique. Les élèves de la classe 2 qui présentent en termes de compétences cognitives, linguistiques et de littéracie de très nombreux points communs avec ceux de la classe 1, s'en distinguent par une attitude différente à l'égard des textes, attitudes que l'on pourrait interpréter comme relevant de capacités plus scolaires. Ce qui se manifeste dans les bonnes réponses à de nombreux items ne peut pas être interprété comme une compétence textuelle prenant en compte le texte comme entité spécifique, mais plutôt comme une compétence scolaire de repérage ; ils savent repérer une information dans un texte et peuvent ainsi produire de bonnes réponses, plus fréquemment que les élèves de la classe 1. Ces élèves se distinguent des précédents par l'usage réitéré des citations de morceaux du document et peuvent même parfois aller un peu au-delà :

La visée cognitive des tâches qui sollicite avis ou écriture n'est dès lors pas perçue ; en revanche, les réponses au QCM peuvent être réussies, le sont aussi les tâches scientifiques et techniques et on peut faire l'hypothèse, compte tenu de la nature des tâches au collège, d'une possibilité pour ces élèves de réussir en classe «minimalement» certes, mais ce qui expliquerait la présence de certains des élèves de la classe 2 en lycée.

Profil des élèves de classe 3 : des commentateurs entre dialogue avec le texte et logique doxique

Les élèves de la classe 3 se caractérisent par leur forte présence dans leurs textes, marquée par des formes de modalités diverses et une longueur de réponses relativement plus grande que chez les autres élèves. Sans que celles-ci soient toujours pertinentes, ils «glosent» en ce cas avec «eux-mêmes» en interprétant le texte. Tout se passe comme s'ils avaient envie de s'exprimer sur certains sujets, mais, et c'est sans doute aussi ce qui les caractérise, de ce fait leurs réponses sont hétérogènes sur les différents registres travaillés par nos analyses, puisqu'elles dépendent de l'intérêt des thèmes pour l'élève.

Leur engagement d'eux-mêmes peut dans certains items leur permettre de bonnes réponses, soit pour des raisons de valeurs partagées, soit par ce qu'ils engagent aussi d'eux-mêmes au niveau des raisonnements et peuvent ainsi répondre aux questions «scientifiques». Cependant cet engagement peut aussi se traduire par des non réponses, quand le raisonnement n'est pas possible ou par des affirmations erronées, comme s'il fallait, au contraire, répondre absolument. En tout état de cause, il y a chez ces élèves une réelle prise en compte possible du texte comme texte, même si, c'est le cas le plus fréquent, c'est en référence à leur propre opinion, ce qui nous fait interpréter les réponses comme relevant de la relation entre littéracie et engagement de soi :

Profil des élèves de la classe 4 : des lecteurs compreneurs

Les élèves des classes précédentes peuvent être caractérisés par des mobilisations d'eux-mêmes au sens de la mobilisation de leurs avis, opinions, valeurs et expériences ordinaires faiblement compensées (compte tenu des exigences des tâches) par la mobilisation des ressources du texte pour lui-même et en lui-même, somme toute par une faible mobilisation de savoirs. Les élèves de classe 4 sont en rupture totale avec ces caractéristiques, y compris du fait de leur appartenance scolaire : ce sont majoritairement des élèves de lycée quand les autres sont élèves de collège. Ce constat étaye notre hypothèse selon laquelle, les premiers apprentissages passés, les difficultés ou facilités scolaires peuvent être interprétées comme des effets de cumul ou de renvoi positif ou négatif d'un registre à l'autre des mobilisés dans le travail scolaire.

Ces élèves produisent les réponses attendues de façon quasi systématique et compte tenu de l'hétérogénéité des tâches, cela signifie que ce qui leur permet une telle performance c'est la mobilisation conjointe des savoirs scolaires, d'un traitement des documents qui repose sur des compétences en littéracie qui s'adosse à des compétences cognitives assurées. Mais c'est aussi la mobilisation d'une attitude (est-ce une compétence ?) de reconfiguration des différentes sources mobilisées qui leur permet de se situer dans le même registre des raisonnements et savoirs demandés par l'évaluation. Cette attitude est encore un type de mobilisation de soi, mais cette fois, il s'agit de la mobilisation de soi comme sujet d'un écrit, d'une pensée qui n'est justement pas réductible à soi.

Les cahiers de ces élèves sont le plus souvent homogènes, mais ce sont les filles qui «saturent» davantage le modèle de la maîtrise de la littéracie et du sujet de l'écrit ; les garçons écrivent souvent brièvement et sont plus sensibles à la variété des tâches et au thème des textes. On trouve chez ces élèves peu de citations (de copie) du texte, peu donc de logique de relevé d'informations, mais la production d'un texte en position de surplomb par rapport au texte source. Cette mobilisation leur permet d'explorer des registres de connaissances et de raisonnement hétérogènes qu'ils mettent en relation par un travail cognitif et langagier constant. À l'opposé des catégories précédentes (la classe 3, en particulier), on peut rencontrer ici une absence totale d'engagement de soi sur le plan affectif ou moral de la part de ces élèves (des garçons, en particulier). En ce cas, ils répondent juste mais de façon minimale. Ce qui les caractérise également et qui est une réelle différence par rapport à tous les autres élèves, c'est le maintien tout au long du cahier d'une posture de mobilisation cognitive et secondarisante d'élaboration de raisonnement et de réélaboration des données du texte.

Des postures d'élèves

Parce qu'ils visent, selon les concepteurs de l'enquête, à évaluer « l'aptitude à réaliser des tâches qui s'inscrivent dans des situations de la vie réelle » plutôt que l'acquisition de connaissances spécifiques, et parce que leurs thématiques sont souvent proches des expériences et des univers sociaux et culturels des adolescents, ces épreuves et ces textes, plus sans doute que les épreuves scolaires plus traditionnelles dans le système éducatif français, sollicitent potentiellement des élèves qu'ils mobilisent plusieurs registres de référence : le travail à opérer pour répondre correctement aux items n'emprunte pas au seul registre des textes proposés. Il est, selon les épreuves et/ou selon les élèves, facilité ou entravé, par la mobilisation ou la mise à distance que les enquêtés parviennent ou non à opérer de différents autres registres plus ou moins disponibles :

- registre des savoirs scolaires, des connaissances générales sur le monde et des références culturelles qu'il est nécessaire de mobiliser pour comprendre tout ou partie des textes et pour pouvoir formuler des hypothèses à partir d'eux (sur les motifs conduisant les protagonistes d'un roman à se conduire comme ils le font, ou sur les raisons du taux d'intervention quasi nul d'une organisation humanitaire en Éthiopie, par exemple) ;

- registre de l'expérience personnelle, individuelle ou collective, et plus ou moins familière, que les adolescents se font des objets et des pratiques sociales et culturelles évoqués : la plage, le cinéma, les graffitis, les échanges linguistiques ; etc. ;

- registre des valeurs, des opinions et préjugés, des doxas, juvéniles et/ou sociales, dont cette expérience est tissée, des “perspectives“ qui sont les leurs sur le monde et les diverses pratiques sociales et par rapport auxquels certains textes ou certaines des propositions qu'ils contiennent peuvent s'avérer contradictoires ou contre intuitifs ;

- registre des habitudes et des modes d'interprétation des situations scolaires ou des situations proches (telle que celle de la passation de PISA) construits et routinisés dans la fréquentation des tâches et exercices scolaires ;

- registre des compétences et des postures cognitives et “littéraciées“ (liées à une acculturation propre à la literacy ) permettant aux élèves le travail de reconfiguration et de secondarisation de leur expérience du monde et de leurs usages du langage, travail – sur la définition duquel nous reviendrons ci-après – qui ne fait que rarement l'objet d'une pédagogie explicite.

Les entretiens post-passation nous fournissent quelques clés d'accès aux processus de mobilisation de différents types d'élèves. Ils mettent en évidence différentes postures, comme celles de l'intégration, de l'engagement limité, de la tolérance et de l'adhérence qui, plus particulièrement sollicitées par telle ou telle question, permettent de se trouver plus ou moins en phase avec ce qui est attendu. Les postures que nous dégageons à travers ces entretiens ne sont évidemment ni exhaustives (l'analyse d'autres passations et entretiens devrait permettre de les mettre à l'épreuve), ni exclusives (plusieurs élèves participent de plusieurs d'entre elles). Elles permettent cependant d'avancer des hypothèses sur deux paradoxes :

-Contrairement à ce que l'on peut entendre dire ou dire souvent, ce n'est pas le déficit de sens de la tâche qui désoriente les élèves, mais la difficulté à la construire précisément comme une tâche scolaire ou, ici, comme une tâche intellectuelle. Le rôle des «prismes» ou «filtres» élaborés dans la famille, à l'école et entre pairs paraît ici très important.

CONCLUSION

La faible prévisibilité des réponses vraies et des fausses pour un même élève dans l'enquête PISA vient de ce que cette enquête ne mesure pas nécessairement ce qu'elle croit mesurer. Les réponses peuvent en effet être justes ou fausses pour des raisons qui ne sont pas celles que peut envisager une analyse a priori des items. Il y a en fait des phénomènes de superposition entre les logiques textuelles et les logiques d'acteurs. Ces phénomènes semblent donc renvoyer davantage au domaine des malentendus sociocognitifs et à leur structure de «feuilletage» qu'à la non maîtrise intellectuelle des outils du raisonnement ou de traitement de l'écrit.

Autrement dit, pour les catégories relevant des trois parties précédentes de la grille l'unité de codage était la réponse à une question du cahier PISA.