Archives par étiquette : biais

Les biais de la mise en données de l’histoire: lecture d’un article de Ian Milligan

Un ordre illusoire?

J’ai déjà à plusieurs reprises insisté sur les possibilités, mais aussi les biais, induits par la mise en données de l’histoire, notamment à la lecture de Tim Hitchcock1. Ian Milligan est professeur assistant au département d’histoire de l’université canadienne de Waterloo. C’est un historien numérique reconnu, qui s’intéresse notamment aux changements méthodologiques induits en histoire par l’ère numérique. Vous pouvez, par exemple, lire son poster Rethinking the archival box.

Il a récemment publié «Illusionary Order: Online Databases, Optical Character Recognition, and Canadian History, 1997–2010» dans la Canadian Historical Review2. L’intérêt de cet article est que c’est une étude de cas qui donne une idée plus précise des biais induits par la mise en données partielle de l’histoire. Ian Milligan a étudié la manière dont sont cités les journaux canadiens dans les thèses d’histoire d’une part, dans les articles de la Canadian Historical Review d’autre part, qui touchent à l’histoire canadienne. Il y expose très clairement sa méthode et a mis en ligne le code qu’il a développé sur github.

Ce qu’il constate confirme que les historiens sont en train de laisser se développer une boîte noire numérique. Car ses conclusions sont sans appel:

  • Le nombre de citation des journaux canadiens numérisés ont explosé depuis 1997. Le nombre de citation des journaux non-numérisés ont stagné ou décliné;
  • Les sources mieux numérisées sont plus citées;
  • S’il ne constate pas d’influence de ce phénomène sur les grands thèmes de l’historiographie de l’histoire canadienne, il y a une corrélation avec les « sous-thèmes » et, donc, bien influence (probable, la numérisation étant un facteur parmi d’autres) de la mise en données des sources sur notre travail.

Pour cette raison, il parle d’ordre numérique illusoire: la recherche par mots clés, l’organisation très structurée des bases de données donnent l’impression d’un ordre qui n’en est pas un, pour diverses raisons. La première est l’inégale numérisation des sources. La seconde est la qualité variable de la reconnaissance de texte – car Ian Milligan rappelle que les logiciels de reconnaissance de texte qui permettent la recherche par mots-clés (grand apport de la numérisation des sources) ont été prévu pour des documents d’un type précis dans un cadre commercial. Il rappelle que les sources historiennes, notamment les journaux, posent des problèmes techniques précis qui ne sont que partiellement gérés par ces logiciels. Sans oublier que, plus la source est ancienne, plus la reconnaissance de texte est défaillante – parfois, plus de la moitié de l’information peut être perdue. Ainsi, une recherche par mots clés peut donner l’illusion d’un résultat exhaustif, alors que, même avec les meilleurs logiciels de reconnaissance de texte, le texte n’est jamais restitué de manière parfaite. La seule solution est la relecture humaine de la reconnaissance de texte par la machine, mais elle coûte trop chère pour les numérisations de masse.

L’usage de la recherche par mots-clés dans les grandes bases de données change d’autres éléments: une recherche dans des liasses d’archives ou des liasses (ou microfilms) de journaux permet aux historiens de lire des documents ne touchant pas à leur recherche présente, mais leur donnant des idées pour des recherches futures. En clair, la recherche par mots-clés diminue la « sérendipité » des historiens.

Pour Ian Miligan, il y a trois grands problèmes liés à cette situation:

  • Autorité illusoire par le nombre. Nous risquons de citer plus d’articles qu’avant, sans qu’il n’y ait de réel apport scientifique, mais avec pour corollaire le risque d’être moins analytique. En clair, on risque de donner plus d’autorité à un travail de recherche car les documents cités sont nombreux, mais sans que l’apport scientifique de cette recherche ne le justifie;
  • Déclin des journaux non numérisés. C’est un point particulièrement important: nous risquons de sélectionner nos sources en fonction de leur disponibilité numérique et non de leur intérêt pour notre recherche;
  • Concentration sur les lieux les plus concernés par les journaux numérisés: dans le cas de l’histoire canadienne, le journal numérisé le mieux cité est basé à Toronto. Plus l’utiliser qu’un journal de Montréal, par exemple, va favoriser la vision du gouvernement fédéral. Plus discret, mais tout aussi important, l’utilisation d’un journal de Toronto pour faire l’histoire de localités proches de la capitale risque de faire oublier l’apport pour une recherche de journaux plus locaux.

L’auteur propose quelques éléments pour remédier à cette situation:

  • Reconnaître notre utilisation des ressources numériques: lorsque nous lisons la version numérique d’une source primaire ou secondaire, nous devons, dans les notes de bas de page et dans la bibliographie, renvoyer à la référence numérique et non à la référence papier;
  • Ouvrir le débat, ce qu’il fait avec cet article. Bref, nous devons éclaire la boîte noire. Il propose notamment d’exposer nos « bonnes pratiques ».

Parmi ces bonnes pratiques, il rappelle les suivantes:

  • Quand cela est nécessaire, un écrémage complet des sources – c’est-à-dire ne pas faire une recherche uniquement sur mots-clés, mais regarder chaque document qui potentiellement peuvent être intéressants pour notre recherche, même s’il n’est pas dans les résultats de la recherche par mots-clés;
  • Comme lorsque nous utilisions les catalogues par fiches, nous devons multiplier et combiner les mots clés, ne pas oublier les orthographes alternatives, les abréviations, les synonymes…
  • Participer collectivement à l’amélioration des usages de ces bases de données: bien les citer, rappeler la méthodologie de recherche employée, etc;
  • Travailler avec les éditeurs de ces bases de données pour les améliorer, les adapter aux besoins des historiens, que ce soit pour le contenu ou pour les fonctionnalités proposées.

Un autre exemple: l’étude de l’intégration européenne

Pour illustrer l’étude de Ian Milligan dans un autre secteur, les études européennes dans un sens large, j’ai utilisé le logiciel Harzing’s Publish or Perish. J’indique tout de suite que mon étude est une illustration, non une démonstration: ma méthodologie et mes résultats n’ont rien à voir avec la rigueur des données de Ian Milligan. De plus, c’est une approche quantitative stricte reposant sur Google Scholar, c’est-à-dire une boîte noire… Je n’ai pas intégré d’aspects qualitatifs sur le contenu de ces références (la plupart du temps) scientifiques. Les données récoltées ne sont pas complètes à deux titres: d’une part, Google Scholar, utilisé par Publish or Perish, est très imparfait (selon Google Scholar, Britney Spears a des publications scientifiques); d’autre part, je ne peux rapatrier plus de 1000 ocurrences par mots-clés.

J’ai fait trois recherches, sur les mots clés suivants: « ena.lu », « cvce.eu » et « aei.pitt.edu ». EuropeanNAvigator (ena.lu), devenu ensuite cvce.eu, et les Archive of European Integration (aei.pitt.edu) sont les deux dépôts les plus importants d’archives numérisées sur l’histoire de l’intégration européenne. Il y a d’autres sources, mais un peu plus difficiles à identifier ou dont l’usage n’est pas spécifique aux études européennes (les quelques ressources – qui vont en s’accroissant – des archives historiques de l’union européenne; Internet Archive; la médiathèque de la Commission européenne, etc).

En regardant ce schéma, on constate plusieurs éléments:

  • Ces bases de données ont été utilisées très vite: AEI est publiée en 2003, ena.lu en 2005. Les premières utilisations – sous réserve des erreurs de Google Scholar3 – apparaissent de suite;
  • Le déclin d’ena.lu s’explique par son remplacement par cvce.eu à l’été 2011. cvce.eu n’a pas encore totalement pris la place d’ena.lu, mais son utilisation s’accroît vite4;
  • Il y a un déclin relatif de l’usage de ces bases de données en 2013: il est probablement dû au fait que Google Scholar est loin d’avoir indexé toutes les publications de 2013. Personnellement, j’ai constaté qu’il y a un délai d’au moins six mois entre la publication d’un ouvrage et sa présence dans Google Scholar.

Comme Ian Milligan, on peut constater que ces bases de données de sources primaires sont très vite utilisées par les chercheurs (ici, tous ceux, historiens ou non, qui citent ces bases de données). Outre, les remarques contenues dans l’article de Ian Milligan, je rajouterais quelques réflexions méthodologiques propres à l’histoire de l’intégration européenne ou, du moins, à ces dépôts numériques d’archives:

  • Il n’y a, à ma connaissance, aucune précision globale sur le taux de réussite de la reconnaissance de texte ou sur les logiciels utilisés. Dans le cas du CVCE, il peut y avoir des précisions relatives à chaque document;
  • Les procédures de sélection d’archives demeurent floues – c’est notamment lié au fait qu’il est difficile d’en émettre qui soient purement objectives.
    • Le CVCE les définit à l’échelle de chaque projet de recherche, ce qui est un problème pour un chercheur dont la quête ne colle pas à ces projets,
    • Dans le cas d’AEI, le type de documents choisi est plus clair: des archives officielles des institutions européennes et des documents scientifiques – principalement de la littérature grise, semble-t-il. La collecte se fait, si j’ai bien compris, par crowdsourcing: les chercheurs qui numérisent soumettent les documents à AEI. Le matériel soumis doit pouvoir être d’une utilité potentielle pour la recherche, ce qui reste assez flou.

Le résultat de ces rapides constations est le suivant: utiliser ces bases de données ne peut-être soit qu’une première approche complétée par un séjour en centre d’archives, soit d’utilisation quasi-exclusive si le sujet traité à l’aide des sources qui y figurent est accessoire à la recherche et si le tout est complété par une bonne connaissance, bien entendu, de la littérature secondaire. Dans tous les cas, comme Ian Milligan le rappelle, l’auteur doit faire référence à la version numérique du document utilisé et non sa version papier si cette dernière n’a pas été consultée.

Je n’ai pas les moyens de confronter ces chiffres d’utilisation aux autres citations de ces travaux, donc je ne peux pas aller plus loin, à savoir déterminer si des sources non-numérisées sont négligées ou si les sujets traités sont orientés par l’usage de ces bases de données en ligne. Quoi qu’il arrive, il est temps qu’un débat soit ouvert sur nos méthodes numériques, sans les récuser, mais pour bien les intégrer dans notre méthodologie.

  1. Hitchcock Tim, « Academic History Writing and its Disconnects », Journal of Digital Humanities, Winter 2011, vol. 1, no 1. []
  2. Milligan Ian, « Illusionary Order: Online Databases, Optical Character Recognition, and Canadian History, 1997–2010 », Canadian Historical Review, 1 décembre 2013, vol. 94, nᵒ 4, pp. 540‑569. En ligne. []
  3. Beaucoup de tites sans date, dates erronées, mauvais OCR, tendance à sur-représenter les travaux en Anglais, etc []
  4. Disclaimer: J’ai été employé, à divers postes, y compris de chef d’équipe, par le CVCE, éditeur de ena.lu et de cvce.eu. []

Les flous de la mise en données de l’histoire – réflexions sur un article de Patrick Manning

geonames.org’s world: azimuthal projection on Portland

(c) Charlie Loyd – sous licence: CC BY SA – par

Après mon premier article sur le sujet, j’ai recherché ce qui a déjà été publié sur le Big Data et l’histoire, contemporaine ou non. L’un des auteurs principaux est Patrick Manning, de l’Université de Pittsburgh. À l’origine spécialiste de l’histoire de l’Afrique, Manning en est venu au Big Data en histoire via l’histoire globale1, discipline pour laquelle il a obtenu une réputation mondiale.

Si l’on en croit l’un de ses textes2, l’utilisation de Big Data est pour lui logique pour approfondir l’histoire globale afin d’obtenir un niveau de raffinement de connaissance de l’expérience humaine englobant l’ensemble des échelles, du local vers le global:

We cannot effectively address the global-historical analysis of social-science issues without developing large quantitites of dependable global data. […] Fascinating and groundbreaking analyses await us once we assemble historical data systematically at regional and global levels. We will be able to trace the rise and fluctuation of global systems of money and credit […]. We will have detail o nshifting flobal patterns of population, mortality, and migration. We will trace the unfolding of governance at local, national, and imperial levels, and changing systems of family structure. (p. 6)

Cet extrait montre l’ambition de la mise en données de l’histoire. Pour atteindre le but que Manning fixe dans cet article, a été créé à Pittsburgh World-historical dataverse, qui, sur sa page d’accueil, annonce ses objectifs comme suit:

Data on the human experience at the global level. Dataverse collects data on social-scientific, health, and environmental data for the world as a whole for the past four or five centuries.

Dataverse a pour but de collecter et fusionner des ensembles de données pour pouvoir, à terme, les exploiter globalement. Toujours dans le même article, Manning décrit sa démarche globale: 1. Assembler les données, 2. Créer une archive historique unifiée, 3. Analyser les données mondialement. Cette mission, remplie par le projet Dataverse du Center for Historical Information and Analysis dirigé par Manning, doit faire face à de nombreux défis techniques et méthodologiques, ce qui implique que les datasets mis en ligne et fusionnés soit sévèrement sélectionnés, qu’une démarche globale pour harmoniser ces données soit définie, mais aussi un changement conceptuel important (voir plus bas). Méthodologiquement, la fusion de données ayant été collectées avec des buts scientifiques potentiellement divergents peut aboutir à de graves biais dans la base de données finale.3

Je ne cache pas être fasciné par cette démarche, d’autant plus qu’elle est collaborative et est favorable à l’Open Data. Explorer Dataverse4 est très riche en découvertes et nombres d’entre nous devraient éplucher les données qui y sont disponibles. En outre, le site pointe vers des bases de données externes disponibles en ligne.

Toutefois, la démarche, pour le moment, me semble entrer dans le Big Data tel que danah boyd et Kate Crawford l’ont défini:

We define Big Data as a cultural, technological, and scholarly phenomenon that rests on the interplay of:
(1) Technology: maximizing computation power and algorithmic accuracy to gather, analyze, link, and compare large data sets.
(2) Analysis: drawing on large data sets to identify patterns in order to make economic, social, technical, and legal claims.
(3) Mythology: the widespread belief that large data sets offer a higher form of intelligence and knowledge that can generate insights that were previously impossible, with the aura of truth, objectivity, and accuracy.5

Le point 3 de cette définition est le plus important et est la base de tout l’article de boyd et Crawford. Or, l’article de Manning est ambigu. Il souhaite « to develop data and theory at global scale and over several centuries » mais n’insiste pas sur la manière de développer ces théories. En outre, il justifie l’intérêt de cette démarche par la possibilité de donner les moyens aux « décideurs » (planners dans son texte – il évoque des institutions internationales économiques et financières et les sommets sur le réchauffement de la planète) d’être en mesure d’embrasser une vision globale pour leur prise de décision.

Évoquant les problèmes conceptuels de sa démarche, il explique:

Conceptual obstacles include the reality that social science theories remain within discrete domains that restrict global analysis. Thus, micro and macro theories within given disciplines are not clearly connected; disciplines are connected only marginally to each other, and some visions of “the world” leave out whole continents, notably Africa and South America. Further, in the frustrating feedback loop with which we began, global patterns in social science have not been explored in much detail for lack of global data. (p. 6)

Cette volonté de fusionner les modes d’analyse des sciences sociales (dans lesquelles il met l’histoire) n’est pas très explicite. Il reste plutôt flou sur ce que cette nouvelle analyse unifiée donnerait et sur le rôle, qu’il estime central, du Big Data et de l’évolution des technologies, dans cette fusion. Oui, les technologies nous donnent de nouveaux moyens. Sont-ils tous pertinents?

La démarche globale de Manning me semble intéressante et doit être poursuivie sans aucun doute. Il me semble entendre trop de collègues qui opposent à ce type de démarches des obstacles méthodologiques dans le but très clair d’éviter qu’elles se développent, mais sans fournir une réelle réflexion. Il me semble même que ce comportement est un obstacle au développement des Digital Humanities en France. Reste que nombreuses sont les questions en suspens auxquelles il faudra répondre si l’on ne veut pas que les promesses du Big Data en histoire ne se réduisent pas à la portion congrue.

  1. Vous savez, cette histoire dont Pierre Nora parle comme suit: «  Sur quoi l’émergence d’une approche globale, ou mondiale, est venue servir de prétexte pour les uns et d’impératif majeur pour les autres au dépassement définitif d’une histoire nationale. Cette déconstruction et ce retournement de l’histoire officielle auraient pu être la source d’un enrichissement fécond. Ils l’ont été parfois. Mais le plus souvent, ils n’ont abouti qu’à un militantisme idéologique qui est le pendant du militantisme national(iste). » dans le dernier numéro du Débat.  in Nora, Pierre, « Difficile enseignement de l’histoire », Le Débat, 2013, n° 175, no 3, p. 3‑6. En réponse, voir: Capdepuy, Vincent, « Le déni du Monde », sur Aggiornamento Hist-Géo, http://aggiornamento.hypotheses.org/1453. []
  2. Manning, Patrick, « Big Data in History: a World-Historical Archive ». []
  3. Manning répond à ces enjeux dans son article. Je ne développe pas cet aspect ici mais n’y renonce pas pour un autre billet. []
  4. L’une des facettes du Multivers de Moorcock? []
  5. boyd, danah & Kate Crawford, « CRITICAL QUESTIONS FOR BIG DATA: Provocations for a cultural, technological, and scholarly phenomenon », Information, Communication & Society, 2012, vol. 15, no 5, p. 662‑679. []