Un ordre illusoire?

J’ai déjà à plusieurs reprises insisté sur les possibilités, mais aussi les biais, induits par la mise en données de l’histoire, notamment à la lecture de Tim Hitchcock1. Ian Milligan est professeur assistant au département d’histoire de l’université canadienne de Waterloo. C’est un historien numérique reconnu, qui s’intéresse notamment aux changements méthodologiques induits en histoire par l’ère numérique. Vous pouvez, par exemple, lire son poster Rethinking the archival box.

Il a récemment publié «Illusionary Order: Online Databases, Optical Character Recognition, and Canadian History, 1997–2010» dans la Canadian Historical Review2. L’intérêt de cet article est que c’est une étude de cas qui donne une idée plus précise des biais induits par la mise en données partielle de l’histoire. Ian Milligan a étudié la manière dont sont cités les journaux canadiens dans les thèses d’histoire d’une part, dans les articles de la Canadian Historical Review d’autre part, qui touchent à l’histoire canadienne. Il y expose très clairement sa méthode et a mis en ligne le code qu’il a développé sur github.

Ce qu’il constate confirme que les historiens sont en train de laisser se développer une boîte noire numérique. Car ses conclusions sont sans appel:

• Le nombre de citation des journaux canadiens numérisés ont explosé depuis 1997. Le nombre de citation des journaux non-numérisés ont stagné ou décliné;
• Les sources mieux numérisées sont plus citées;
• S’il ne constate pas d’influence de ce phénomène sur les grands thèmes de l’historiographie de l’histoire canadienne, il y a une corrélation avec les “sous-thèmes” et, donc, bien influence (probable, la numérisation étant un facteur parmi d’autres) de la mise en données des sources sur notre travail.

Pour cette raison, il parle d’ordre numérique illusoire: la recherche par mots clés, l’organisation très structurée des bases de données donnent l’impression d’un ordre qui n’en est pas un, pour diverses raisons. La première est l’inégale numérisation des sources. La seconde est la qualité variable de la reconnaissance de texte – car Ian Milligan rappelle que les logiciels de reconnaissance de texte qui permettent la recherche par mots-clés (grand apport de la numérisation des sources) ont été prévu pour des documents d’un type précis dans un cadre commercial. Il rappelle que les sources historiennes, notamment les journaux, posent des problèmes techniques précis qui ne sont que partiellement gérés par ces logiciels. Sans oublier que, plus la source est ancienne, plus la reconnaissance de texte est défaillante – parfois, plus de la moitié de l’information peut être perdue. Ainsi, une recherche par mots clés peut donner l’illusion d’un résultat exhaustif, alors que, même avec les meilleurs logiciels de reconnaissance de texte, le texte n’est jamais restitué de manière parfaite. La seule solution est la relecture humaine de la reconnaissance de texte par la machine, mais elle coûte trop chère pour les numérisations de masse.

L’usage de la recherche par mots-clés dans les grandes bases de données change d’autres éléments: une recherche dans des liasses d’archives ou des liasses (ou microfilms) de journaux permet aux historiens de lire des documents ne touchant pas à leur recherche présente, mais leur donnant des idées pour des recherches futures. En clair, la recherche par mots-clés diminue la “sérendipité” des historiens.

Pour Ian Miligan, il y a trois grands problèmes liés à cette situation:

• Autorité illusoire par le nombre. Nous risquons de citer plus d’articles qu’avant, sans qu’il n’y ait de réel apport scientifique, mais avec pour corollaire le risque d’être moins analytique. En clair, on risque de donner plus d’autorité à un travail de recherche car les documents cités sont nombreux, mais sans que l’apport scientifique de cette recherche ne le justifie;
• Déclin des journaux non numérisés. C’est un point particulièrement important: nous risquons de sélectionner nos sources en fonction de leur disponibilité numérique et non de leur intérêt pour notre recherche;
• Concentration sur les lieux les plus concernés par les journaux numérisés: dans le cas de l’histoire canadienne, le journal numérisé le mieux cité est basé à Toronto. Plus l’utiliser qu’un journal de Montréal, par exemple, va favoriser la vision du gouvernement fédéral. Plus discret, mais tout aussi important, l’utilisation d’un journal de Toronto pour faire l’histoire de localités proches de la capitale risque de faire oublier l’apport pour une recherche de journaux plus locaux.

L’auteur propose quelques éléments pour remédier à cette situation:

• Reconnaître notre utilisation des ressources numériques: lorsque nous lisons la version numérique d’une source primaire ou secondaire, nous devons, dans les notes de bas de page et dans la bibliographie, renvoyer à la référence numérique et non à la référence papier;
• Ouvrir le débat, ce qu’il fait avec cet article. Bref, nous devons éclaire la boîte noire. Il propose notamment d’exposer nos “bonnes pratiques”.

Parmi ces bonnes pratiques, il rappelle les suivantes:

• Quand cela est nécessaire, un écrémage complet des sources – c’est-à-dire ne pas faire une recherche uniquement sur mots-clés, mais regarder chaque document qui potentiellement peuvent être intéressants pour notre recherche, même s’il n’est pas dans les résultats de la recherche par mots-clés;
• Comme lorsque nous utilisions les catalogues par fiches, nous devons multiplier et combiner les mots clés, ne pas oublier les orthographes alternatives, les abréviations, les synonymes…
• Participer collectivement à l’amélioration des usages de ces bases de données: bien les citer, rappeler la méthodologie de recherche employée, etc;
• Travailler avec les éditeurs de ces bases de données pour les améliorer, les adapter aux besoins des historiens, que ce soit pour le contenu ou pour les fonctionnalités proposées.

Un autre exemple: l’étude de l’intégration européenne

Pour illustrer l’étude de Ian Milligan dans un autre secteur, les études européennes dans un sens large, j’ai utilisé le logiciel Harzing’s Publish or Perish. J’indique tout de suite que mon étude est une illustration, non une démonstration: ma méthodologie et mes résultats n’ont rien à voir avec la rigueur des données de Ian Milligan. De plus, c’est une approche quantitative stricte reposant sur Google Scholar, c’est-à-dire une boîte noire… Je n’ai pas intégré d’aspects qualitatifs sur le contenu de ces références (la plupart du temps) scientifiques. Les données récoltées ne sont pas complètes à deux titres: d’une part, Google Scholar, utilisé par Publish or Perish, est très imparfait (selon Google Scholar, Britney Spears a des publications scientifiques); d’autre part, je ne peux rapatrier plus de 1000 ocurrences par mots-clés.

J’ai fait trois recherches, sur les mots clés suivants: “ena.lu”, “cvce.eu” et “aei.pitt.edu”. EuropeanNAvigator (ena.lu), devenu ensuite cvce.eu, et les Archive of European Integration (aei.pitt.edu) sont les deux dépôts les plus importants d’archives numérisées sur l’histoire de l’intégration européenne. Il y a d’autres sources, mais un peu plus difficiles à identifier ou dont l’usage n’est pas spécifique aux études européennes (les quelques ressources – qui vont en s’accroissant – des archives historiques de l’union européenne; Internet Archive; la médiathèque de la Commission européenne, etc).

En regardant ce schéma, on constate plusieurs éléments:

• Ces bases de données ont été utilisées très vite: AEI est publiée en 2003, ena.lu en 2005. Les premières utilisations – sous réserve des erreurs de Google Scholar3 – apparaissent de suite;
• Le déclin d’ena.lu s’explique par son remplacement par cvce.eu à l’été 2011. cvce.eu n’a pas encore totalement pris la place d’ena.lu, mais son utilisation s’accroît vite4;
• Il y a un déclin relatif de l’usage de ces bases de données en 2013: il est probablement dû au fait que Google Scholar est loin d’avoir indexé toutes les publications de 2013. Personnellement, j’ai constaté qu’il y a un délai d’au moins six mois entre la publication d’un ouvrage et sa présence dans Google Scholar.

Comme Ian Milligan, on peut constater que ces bases de données de sources primaires sont très vite utilisées par les chercheurs (ici, tous ceux, historiens ou non, qui citent ces bases de données). Outre, les remarques contenues dans l’article de Ian Milligan, je rajouterais quelques réflexions méthodologiques propres à l’histoire de l’intégration européenne ou, du moins, à ces dépôts numériques d’archives:

• Il n’y a, à ma connaissance, aucune précision globale sur le taux de réussite de la reconnaissance de texte ou sur les logiciels utilisés. Dans le cas du CVCE, il peut y avoir des précisions relatives à chaque document;
• Les procédures de sélection d’archives demeurent floues – c’est notamment lié au fait qu’il est difficile d’en émettre qui soient purement objectives.
  • Le CVCE les définit à l’échelle de chaque projet de recherche, ce qui est un problème pour un chercheur dont la quête ne colle pas à ces projets,
  • Dans le cas d’AEI, le type de documents choisi est plus clair: des archives officielles des institutions européennes et des documents scientifiques – principalement de la littérature grise, semble-t-il. La collecte se fait, si j’ai bien compris, par crowdsourcing: les chercheurs qui numérisent soumettent les documents à AEI. Le matériel soumis doit pouvoir être d’une utilité potentielle pour la recherche, ce qui reste assez flou.

Le résultat de ces rapides constations est le suivant: utiliser ces bases de données ne peut-être soit qu’une première approche complétée par un séjour en centre d’archives, soit d’utilisation quasi-exclusive si le sujet traité à l’aide des sources qui y figurent est accessoire à la recherche et si le tout est complété par une bonne connaissance, bien entendu, de la littérature secondaire. Dans tous les cas, comme Ian Milligan le rappelle, l’auteur doit faire référence à la version numérique du document utilisé et non sa version papier si cette dernière n’a pas été consultée.

Je n’ai pas les moyens de confronter ces chiffres d’utilisation aux autres citations de ces travaux, donc je ne peux pas aller plus loin, à savoir déterminer si des sources non-numérisées sont négligées ou si les sujets traités sont orientés par l’usage de ces bases de données en ligne. Quoi qu’il arrive, il est temps qu’un débat soit ouvert sur nos méthodes numériques, sans les récuser, mais pour bien les intégrer dans notre méthodologie.

1. Hitchcock Tim, « Academic History Writing and its Disconnects », Journal of Digital Humanities, Winter 2011, vol. 1, n^o 1. [↩]
2. Milligan Ian, « Illusionary Order: Online Databases, Optical Character Recognition, and Canadian History, 1997–2010 », Canadian Historical Review, 1 décembre 2013, vol. 94, nᵒ 4, pp. 540‑569. En ligne. [↩]
3. Beaucoup de tites sans date, dates erronées, mauvais OCR, tendance à sur-représenter les travaux en Anglais, etc [↩]
4. Disclaimer: J’ai été employé, à divers postes, y compris de chef d’équipe, par le CVCE, éditeur de ena.lu et de cvce.eu. [↩]