Archives de catégorie : Mise en données de l’histoire

Les biais de la mise en données de l’histoire: lecture d’un article de Ian Milligan

4 réponses

Un ordre illusoire?

J’ai déjà à plusieurs reprises insisté sur les possibilités, mais aussi les biais, induits par la mise en données de l’histoire, notamment à la lecture de Tim Hitchcock1. Ian Milligan est professeur assistant au département d’histoire de l’université canadienne de Waterloo. C’est un historien numérique reconnu, qui s’intéresse notamment aux changements méthodologiques induits en histoire par l’ère numérique. Vous pouvez, par exemple, lire son poster Rethinking the archival box.

Il a récemment publié «Illusionary Order: Online Databases, Optical Character Recognition, and Canadian History, 1997–2010» dans la Canadian Historical Review2. L’intérêt de cet article est que c’est une étude de cas qui donne une idée plus précise des biais induits par la mise en données partielle de l’histoire. Ian Milligan a étudié la manière dont sont cités les journaux canadiens dans les thèses d’histoire d’une part, dans les articles de la Canadian Historical Review d’autre part, qui touchent à l’histoire canadienne. Il y expose très clairement sa méthode et a mis en ligne le code qu’il a développé sur github.

Ce qu’il constate confirme que les historiens sont en train de laisser se développer une boîte noire numérique. Car ses conclusions sont sans appel:

  • Le nombre de citation des journaux canadiens numérisés ont explosé depuis 1997. Le nombre de citation des journaux non-numérisés ont stagné ou décliné;
  • Les sources mieux numérisées sont plus citées;
  • S’il ne constate pas d’influence de ce phénomène sur les grands thèmes de l’historiographie de l’histoire canadienne, il y a une corrélation avec les “sous-thèmes” et, donc, bien influence (probable, la numérisation étant un facteur parmi d’autres) de la mise en données des sources sur notre travail.

Pour cette raison, il parle d’ordre numérique illusoire: la recherche par mots clés, l’organisation très structurée des bases de données donnent l’impression d’un ordre qui n’en est pas un, pour diverses raisons. La première est l’inégale numérisation des sources. La seconde est la qualité variable de la reconnaissance de texte – car Ian Milligan rappelle que les logiciels de reconnaissance de texte qui permettent la recherche par mots-clés (grand apport de la numérisation des sources) ont été prévu pour des documents d’un type précis dans un cadre commercial. Il rappelle que les sources historiennes, notamment les journaux, posent des problèmes techniques précis qui ne sont que partiellement gérés par ces logiciels. Sans oublier que, plus la source est ancienne, plus la reconnaissance de texte est défaillante – parfois, plus de la moitié de l’information peut être perdue. Ainsi, une recherche par mots clés peut donner l’illusion d’un résultat exhaustif, alors que, même avec les meilleurs logiciels de reconnaissance de texte, le texte n’est jamais restitué de manière parfaite. La seule solution est la relecture humaine de la reconnaissance de texte par la machine, mais elle coûte trop chère pour les numérisations de masse.

L’usage de la recherche par mots-clés dans les grandes bases de données change d’autres éléments: une recherche dans des liasses d’archives ou des liasses (ou microfilms) de journaux permet aux historiens de lire des documents ne touchant pas à leur recherche présente, mais leur donnant des idées pour des recherches futures. En clair, la recherche par mots-clés diminue la “sérendipité” des historiens.

Pour Ian Miligan, il y a trois grands problèmes liés à cette situation:

  • Autorité illusoire par le nombre. Nous risquons de citer plus d’articles qu’avant, sans qu’il n’y ait de réel apport scientifique, mais avec pour corollaire le risque d’être moins analytique. En clair, on risque de donner plus d’autorité à un travail de recherche car les documents cités sont nombreux, mais sans que l’apport scientifique de cette recherche ne le justifie;
  • Déclin des journaux non numérisés. C’est un point particulièrement important: nous risquons de sélectionner nos sources en fonction de leur disponibilité numérique et non de leur intérêt pour notre recherche;
  • Concentration sur les lieux les plus concernés par les journaux numérisés: dans le cas de l’histoire canadienne, le journal numérisé le mieux cité est basé à Toronto. Plus l’utiliser qu’un journal de Montréal, par exemple, va favoriser la vision du gouvernement fédéral. Plus discret, mais tout aussi important, l’utilisation d’un journal de Toronto pour faire l’histoire de localités proches de la capitale risque de faire oublier l’apport pour une recherche de journaux plus locaux.

L’auteur propose quelques éléments pour remédier à cette situation:

  • Reconnaître notre utilisation des ressources numériques: lorsque nous lisons la version numérique d’une source primaire ou secondaire, nous devons, dans les notes de bas de page et dans la bibliographie, renvoyer à la référence numérique et non à la référence papier;
  • Ouvrir le débat, ce qu’il fait avec cet article. Bref, nous devons éclaire la boîte noire. Il propose notamment d’exposer nos “bonnes pratiques”.

Parmi ces bonnes pratiques, il rappelle les suivantes:

  • Quand cela est nécessaire, un écrémage complet des sources – c’est-à-dire ne pas faire une recherche uniquement sur mots-clés, mais regarder chaque document qui potentiellement peuvent être intéressants pour notre recherche, même s’il n’est pas dans les résultats de la recherche par mots-clés;
  • Comme lorsque nous utilisions les catalogues par fiches, nous devons multiplier et combiner les mots clés, ne pas oublier les orthographes alternatives, les abréviations, les synonymes…
  • Participer collectivement à l’amélioration des usages de ces bases de données: bien les citer, rappeler la méthodologie de recherche employée, etc;
  • Travailler avec les éditeurs de ces bases de données pour les améliorer, les adapter aux besoins des historiens, que ce soit pour le contenu ou pour les fonctionnalités proposées.

Un autre exemple: l’étude de l’intégration européenne

Pour illustrer l’étude de Ian Milligan dans un autre secteur, les études européennes dans un sens large, j’ai utilisé le logiciel Harzing’s Publish or Perish. J’indique tout de suite que mon étude est une illustration, non une démonstration: ma méthodologie et mes résultats n’ont rien à voir avec la rigueur des données de Ian Milligan. De plus, c’est une approche quantitative stricte reposant sur Google Scholar, c’est-à-dire une boîte noire… Je n’ai pas intégré d’aspects qualitatifs sur le contenu de ces références (la plupart du temps) scientifiques. Les données récoltées ne sont pas complètes à deux titres: d’une part, Google Scholar, utilisé par Publish or Perish, est très imparfait (selon Google Scholar, Britney Spears a des publications scientifiques); d’autre part, je ne peux rapatrier plus de 1000 ocurrences par mots-clés.

J’ai fait trois recherches, sur les mots clés suivants: “ena.lu”, “cvce.eu” et “aei.pitt.edu”. EuropeanNAvigator (ena.lu), devenu ensuite cvce.eu, et les Archive of European Integration (aei.pitt.edu) sont les deux dépôts les plus importants d’archives numérisées sur l’histoire de l’intégration européenne. Il y a d’autres sources, mais un peu plus difficiles à identifier ou dont l’usage n’est pas spécifique aux études européennes (les quelques ressources – qui vont en s’accroissant – des archives historiques de l’union européenne; Internet Archive; la médiathèque de la Commission européenne, etc).

En regardant ce schéma, on constate plusieurs éléments:

  • Ces bases de données ont été utilisées très vite: AEI est publiée en 2003, ena.lu en 2005. Les premières utilisations – sous réserve des erreurs de Google Scholar3 – apparaissent de suite;
  • Le déclin d’ena.lu s’explique par son remplacement par cvce.eu à l’été 2011. cvce.eu n’a pas encore totalement pris la place d’ena.lu, mais son utilisation s’accroît vite4;
  • Il y a un déclin relatif de l’usage de ces bases de données en 2013: il est probablement dû au fait que Google Scholar est loin d’avoir indexé toutes les publications de 2013. Personnellement, j’ai constaté qu’il y a un délai d’au moins six mois entre la publication d’un ouvrage et sa présence dans Google Scholar.

Comme Ian Milligan, on peut constater que ces bases de données de sources primaires sont très vite utilisées par les chercheurs (ici, tous ceux, historiens ou non, qui citent ces bases de données). Outre, les remarques contenues dans l’article de Ian Milligan, je rajouterais quelques réflexions méthodologiques propres à l’histoire de l’intégration européenne ou, du moins, à ces dépôts numériques d’archives:

  • Il n’y a, à ma connaissance, aucune précision globale sur le taux de réussite de la reconnaissance de texte ou sur les logiciels utilisés. Dans le cas du CVCE, il peut y avoir des précisions relatives à chaque document;
  • Les procédures de sélection d’archives demeurent floues – c’est notamment lié au fait qu’il est difficile d’en émettre qui soient purement objectives.
    • Le CVCE les définit à l’échelle de chaque projet de recherche, ce qui est un problème pour un chercheur dont la quête ne colle pas à ces projets,
    • Dans le cas d’AEI, le type de documents choisi est plus clair: des archives officielles des institutions européennes et des documents scientifiques – principalement de la littérature grise, semble-t-il. La collecte se fait, si j’ai bien compris, par crowdsourcing: les chercheurs qui numérisent soumettent les documents à AEI. Le matériel soumis doit pouvoir être d’une utilité potentielle pour la recherche, ce qui reste assez flou.

Le résultat de ces rapides constations est le suivant: utiliser ces bases de données ne peut-être soit qu’une première approche complétée par un séjour en centre d’archives, soit d’utilisation quasi-exclusive si le sujet traité à l’aide des sources qui y figurent est accessoire à la recherche et si le tout est complété par une bonne connaissance, bien entendu, de la littérature secondaire. Dans tous les cas, comme Ian Milligan le rappelle, l’auteur doit faire référence à la version numérique du document utilisé et non sa version papier si cette dernière n’a pas été consultée.

Je n’ai pas les moyens de confronter ces chiffres d’utilisation aux autres citations de ces travaux, donc je ne peux pas aller plus loin, à savoir déterminer si des sources non-numérisées sont négligées ou si les sujets traités sont orientés par l’usage de ces bases de données en ligne. Quoi qu’il arrive, il est temps qu’un débat soit ouvert sur nos méthodes numériques, sans les récuser, mais pour bien les intégrer dans notre méthodologie.

  1. Hitchcock Tim, « Academic History Writing and its Disconnects », Journal of Digital Humanities, Winter 2011, vol. 1, no 1. [↩]
  2. Milligan Ian, « Illusionary Order: Online Databases, Optical Character Recognition, and Canadian History, 1997–2010 », Canadian Historical Review, 1 décembre 2013, vol. 94, nᵒ 4, pp. 540‑569. En ligne. [↩]
  3. Beaucoup de tites sans date, dates erronées, mauvais OCR, tendance à sur-représenter les travaux en Anglais, etc [↩]
  4. Disclaimer: J’ai été employé, à divers postes, y compris de chef d’équipe, par le CVCE, éditeur de ena.lu et de cvce.eu. [↩]

Nine months of #twitterstorians

5 réponses
Wordcloud of the #twitterstorians corpus

Wordcloud of the #twitterstorians corpus

Last April, I started to collect tweets containing the hashtag #twitterstorians1. The idea is to question whether it is possible to capture / understand in almost real time historiographies in the making. As you all know, this hashtag was created by Katrina Gulliver.

After three months, I attempted to do a first text analysis of this #twitterstorians corpus – but it was still too tiny to be analysed. A few days ago, I attempted again to analyse it and it seemed to work, this time.

I am using a software, iramuteq, developped by Pierre Ratinaud, assistant professor in Toulouse (South-Eastern France). Iramuteq is an interface to the statistical software R. Iramuteq allow to analyse raw texts, that are stored within a corpus that is very slightly encoded (FR). By the way, iramuteq is developped in several languages (including english) and can perform text analysis in French, English, German and more. So download it and try it!

Corpus description

The corpus was divided into 24613 texts and text units (between 13 and 14 words in each text units in average – in this case, as it is a corpus made of tweets, texts and text units are the same), with 33582 occurences and 19870 forms (the corpus is lemmatised). There are 2.39% of HAPAX (forms appearing only once) and they form around 40% of the occurrences.

The analyses

Similitude

Classification

The six classes

1 2 3 4 5 6
write conference amrev oupacademic military irishhistory
new call cw150 prof society onthisday
what journal civilwar associate smh_historians irelandhistory
post paper worldhistory pageant announcement birth
blog annual lizcovart bursary milhist shkenna
archive global allthingsliberty markfreeman1974 academic born
usih programme klinecj ahrc membership dublin
know online boston1775 glasgow airminded irish
great submit gettysburg fund official die
think case todayinhistory close militaryhistory invincibles
teach due morgan ahrcpress history 1916rising
love workshop edmund tudor facebook macneill
like program paul uniofnottingham hwar poet
research study revolution jan digest ireland
book proposal understand ra kansas patrick
need update revolutionary studentship jun death
find symposium earlyamhist cfp apr valera
good cfp lincoln skill 81st limerick
talk release revwar economichistory ddln found
look imperial act succession westpoint_usma leader
podcast georgian gwbooks lecturer check execution
life carnival myhnn grow mtg plunkett
work oct boston deptford mo mp
student frus egypt tmrw page eoin
acwri september liverpool kcl canberra brenmalone
social host confederate reveal date james
back pleasure apostlepaul oso phdchat parnell
will paris maier emmalautman keep hunger
survey historycarnival suffragette smoke sem casement
read follow revreborn historylabplus link cork
thought deadline pauline recordkeeping ann thomas
tip europe loyalist angelabartie list execute
robgreeneii nomination animate form opportunity belfast
past visit abraham submission crown kilmainham
source collection economics reconstruct resource series
library application landscape wcomehs sep rise
public reminder megankatenelson phd war league
question relevant myth imcl unsw stewart
hashtag report nation suit fellowship archbishop
term miss ferguson fresher prefer hang
ff oxford womenshistory age late rossa
website registration spirit britac_news net gaol
thing join civil empire job treaty
thesis the_oah gettysburg150 londoners jul wynns
man international address ryrie brian centenary
name shafrconference paint alec rape unite
19thc sexuality french durham_uni nov pearse
mean sept force project interest ruth
highered dance soldier university city roscommon

Dendogram of the six classes

Classification analysis: Dendogram of the six classes

Conclusions: academic communication and Public History

The #twitterstorians hashtag is firstly a communication channel, as the classification analysis is showing (classes 1 & 2: books, articles, blogs for class 1 and CFPs, conferences for class 2) and also the similitude one. But looking at the four other classes, you remark that there are some domains that are more dynamic: Irish history, Military history, US history. In the details, notably in the similitude graph, you observe that those tweets are first concerning Public History (see the “onthisday” linked to “irishhistory” for instance). The similitude graph shows also some hashtags that are worth a harvest: #envhist, for instance.

  1. I also collect #digitalhumanities, #digitalhistory and #dighist [↩]

Un exemple de Big Data appliqué à l’histoire: “The declassification engine”

Laisser un commentaire

Le 10 mai dernier, j’ai eu la chance de participer à une conférence à l’Université Columbia sur un projet d’histoire numérique particulièrement intéressant: The Declassification Engine. Organisée par l’historien Matthew Connelly1 et le statisticien David Madigan, tous deux de la Columbia, elle m’a fait découvrir un champ d’études qui, à ma connaissance, n’existe pas en France (voire en Europe?), en tout cas comme champ structuré: l’étude du secret d’État. L’introduction de Mat Connelly fut particulièrement intéressante à ce sujet. Vous trouverez un résumé des enjeux démocratiques du secret d’État aux États-Unis ici.

Dans ce billet, je vais me consacrer sur les aspects “numériques” du projet, plus que sur son fond, que je ne maîtrise que peu. Je m’attarderai sur deux éléments: les visualisations et les sources, avant de conclure sur le projet lui-même et ce qu’il m’inspire de manière plus générale.

Les visualisations

Le projet, à terme, proposera trois modes de visualisation de documents déclassés:

  • The Redaction Archive;
  • The Sphere of Influence;
  • The (De)Classifier.

The Redaction Archive

View redacted and unredacted documents side by side. The program analyzes the text and images of each document and finds where they differ.

La “Redaction Archive” met côte à côte les versions caviardées et non-caviardées de documents diplomatiques, en utilisant des méthodes computationnelles de “Natural language processing”.

Capture d'écran de la Redaction Archive

Capture d’écran de la Redaction Archive

Quel intérêt? On peut tout simplement savoir ce que les administrations ne veulent pas que l’on sache sur leurs actions. Prenons un exemple: la proposition états-unienne d’une Multilateral Force (MLF) sous contrôle de l’OTAN. Que remarque-t-on dans l’un des documents déclassés? La partie caviardée contient (de mon point de vue) deux éléments importants. Le premier rappelle que l’Allemagne (dénucléarisée – la MLF aurait inclus l’arme nucléaire) y participerait et trouvait l’initiative importante et que les États-Unis craignaient que Berlin ne se tourne vers la France et son équipement nucléaire naissant. Le second élément concerne le coût de la MLF: il est expliqué ici que c’est aussi un moyen de les reporter vers les Alliés. La MLF n’a jamais abouti.

Vous pouvez tester la Redaction Archive (Attention, ça mange des ressources).

The Sphere of Influence

A visualization of hundreds of thousands of State Department cables from the 1970s, including still-classified documents.

En termes de design, la Sphere of Influence est particulièrement impressionnante. L’équipe du Declassification engine a utilisé le code d’un projet hébergé par Google Ideas, Small Arms & Ammunition Data Visualization, qui permet de visualiser les réseaux illicites de circulation d’armes.

Capture d'écran de la Sphere of Influence

Capture d’écran de la Sphere of Influence

La sphère d’influence permettra de voir la structure de l’activité (classée ou non) diplomatique états-unienne. Comme le précise le texte d’introduction, on peut y voir des changements globaux (l’importance croissante de l’Asie du Sud-est par rapport à l’Europe) ou des variations d’activité en fonction des événements internationaux. On peut aussi voir quelles sont les régions où les câbles diplomatiques ont été les plus censurées.

Prenons un exemple simple: concentrons nous sur les câbles échangés entre la France et les États-Unis. Que constate-t-on? L’ambassade états-unienne à Paris converse avec tous les continents, notamment l’Afrique francophone, mais pas uniquement. Ce n’est pas le cas de tous les pays développés: l’ambassade états-unienne allemande2 n’a eu aucun échange de câbles avec ses homologues en Amérique du Sud. Cela dépend toutefois de la carte que l’on choisi: si c’est FROM/TO, la sphère d’influence de la France est plus importante que celle de l’Allemagne, si c’est FROM/TAGS, c’est beaucoup moins net. Pour savoir la différence entre les deux cartes, le mieux est de visiter le site. Même les câbles partant de Londres ne semblent pas (en 1976 en tout cas) aller dans autant de parties du monde que ceux de Paris.

Ensuite, on peut visualiser les hausses et baisses du nombre de câbles de 1973 à 1976. Dans le cas de la France, la tendance est nettement à la hausse, particulièrement autour de la fin de l’année 1975 et du début de l’année 1976. Cette même tendance semble exister aussi dans d’autres pays d’Europe occidentale (Allemagne, Luxembourg, Italie, Belgique…), à une exception notable, le Royaume Uni. Mon hypothèse est que cela correspond à la préparation de la conférence de la Jamaïque de janvier 1976, celle où, de fait, le système monétaire international de l’après-guerre a été définitivement liquidé. Reste le problème du Royaume Uni: comment interpréter cette baisse/stagnation de l’activité diplomatique au moment de cette conférence? Soit il y a eu une activité diplomatique de l’ambassade US à Londres très forte pour une autre raison juste avant, ce qui explique que l’on ne puisse voir d’effet “Jamaïque”, soit Washington a isolé Londres pendant la préparation de la conférence, soit les contacts ont été pris via d’autres canaux.

On touche ici à une limitation importante de la Sphere of Influence, me semble-t-il: elle est une excellente lecture distante au sens de Moretti, mais ne permet pas un aller-retour entre les documents précis et la vision globale, entre la lecture proche et la lecture distante. De ce fait, il m’est difficile de vérifier mon hypothèse. De plus, pour revenir au secrecy, je ne peux savoir précisément ce qui a été censuré concernant, par exemple, la France.

Il est intéressant aussi de constater, si l’on prend l’option TAGS/TAGS, de voir qu’il reste toujours, dans les années 1970, une forte marque des empires coloniaux passés, en comparant le Royaume Uni à la France.

The (De)Classifier

A tool to display classified and declassified diplomatic activity over time. The word cloud shows the terms most likely to appear only in still-secret cables.

Le (De)Classifier est le projet le plus “disruptif”, pour parler bon Français, du declassification engine. C’est aussi le plus compliqué et c’est pour cette raison qu’il n’est pas encore disponible. Il s’agit tout simplement de savoir quels sont les mots (mots simples, noms propres, etc) qui ont le plus tendance à être censurés. Pourquoi “disruptif”? Tout simplement car il risque de permettre d’anticiper les thèmes qui seront, dans un futur proche, censurés par l’administration américaine ou qui apparaissent dans des documents du passé récent toujours classés secrets.

Sources

L’ensemble des sources primaires sur lesquelles repose ce projet sont des documents officiels, provenant pour la plupart des archives nationales des États-Unis (NARA) mais aussi du State Departments Central Foreign Policy Files (pour plus de détails). En tout, il s’agit du texte de plus d’un million de documents et des métadonnées (le descriptif des documents) de plus d’1,7 millions de câbles. Le projet a étendu ses sources récemment au Declassified Documents Reference System (DDRS)3.

Mais, c’est indiqué dans la “FAQ” et j’en ai parlé sur place avec les historiens et informaticiens présents, le projet souhaite mettre en place, à terme, une plateforme qui permettra aux chercheurs d’envoyer les documents qu’ils ont eux-mêmes numérisés. C’est potentiellement une mine d’or si, toutefois et comme pour toute plateforme de crowdsourcing, cette fonctionnalité peut s’intégrer facilement dans le flux de travail des chercheurs et ménager à la fois les intérêts des individus (en gros, permettre la préservation de ce qu’ils ont numérisé et, bien sûr, utiliser les outils mis à disposition par le Declassification engine) qui verseront leurs archives et ceux du projet (qualité des documents versés, qualité, en conséquence, des outils développés).

Conclusion

En histoire des relations internationales, on ne peut se permettre de rester trop concentré sur une région ou un thème précis – par définition, si notre monde est de plus en plus interdépendant – et ce depuis plusieurs siècles – l’historien ne peut que le prendre en compte. La Sphere of Influence donne la vision globale (centrée ici autour des États-Unis, il est vrai, mais c’est en raison du but du projet, à savoir travailler autour du secret d’État) dont ont besoin les historiens.

En outre, ce projet, à terme, permettra de capitaliser sur le travail individuel de chacun d’entre nous, si cette plateforme de soumission de documents est bien mise en place. Mettre en commun un travail qui peut bénéficier à tous, mais reste aujourd’hui au niveau de l’individu ou de petits groupes, serait une avancée réelle.

Ce que l’on peut regretter, c’est l’absence de va et vient entre la vision globale (Sphere of influence) et la vision plus précise (Redaction archive), entre la lecture distante et la lecture proche. Les outils de lecture distante doivent se suffire à eux-mêmes dans certains cas, mais aussi être des guides pour l’historien (et les autres chercheurs, d’ailleurs) vers des sources précises qui ont particulièrement de la valeur pour un sujet particulier dans d’autres cas.

Quoi qu’il en soit, ce projet, qui permettra des avancées réelles pour tout ceux qui travaillent sur l’histoire des relations internationales, qui permettra une avancée de la recherche plus particulièrement dans le domaine de l’étude du secret d’État, est une très belle utilisation d’un corpus de données massif en histoire et des avancées possibles qu’il eut entraîner pour la recherche.

  1. Matthew Connelly a notamment travaillé sur la guerre d’Algérie: “A Diplomatic Revolution describes how rebels can harness their cause to global trends to isolate and defeat an empire. It happened a half century ago, at the height of the Cold War, when Algerian nationalists mobilized Muslim immigrants in France and across Europe, staged urban terror to attract the international media, and finally won over the U.N. without ever liberating national territory. Rewriting the rules of international relations, they inspired revolutionaries worldwide, including the ANC and the PLO. It is also a textbook case of how a counter-insurgency campaign can win all the battles and still lose the war.” in A Diplomatic Revolution, OUP, 2002. [↩]
  2. Avec une ambiguïté sur la carte: l’Allemagne semble réunifiée, alors que l’on parle des années 1970… [↩]
  3. L’éditeur des DDRS est Gale (Cengage) et semble être privé. [↩]

Les flous de la mise en données de l’histoire – réflexions sur un article de Patrick Manning

1 réponse
geonames.org’s world: azimuthal projection on Portland

(c) Charlie Loyd – sous licence: CC BY SA – par

Après mon premier article sur le sujet, j’ai recherché ce qui a déjà été publié sur le Big Data et l’histoire, contemporaine ou non. L’un des auteurs principaux est Patrick Manning, de l’Université de Pittsburgh. À l’origine spécialiste de l’histoire de l’Afrique, Manning en est venu au Big Data en histoire via l’histoire globale1, discipline pour laquelle il a obtenu une réputation mondiale.

Si l’on en croit l’un de ses textes2, l’utilisation de Big Data est pour lui logique pour approfondir l’histoire globale afin d’obtenir un niveau de raffinement de connaissance de l’expérience humaine englobant l’ensemble des échelles, du local vers le global:

We cannot effectively address the global-historical analysis of social-science issues without developing large quantitites of dependable global data. […] Fascinating and groundbreaking analyses await us once we assemble historical data systematically at regional and global levels. We will be able to trace the rise and fluctuation of global systems of money and credit […]. We will have detail o nshifting flobal patterns of population, mortality, and migration. We will trace the unfolding of governance at local, national, and imperial levels, and changing systems of family structure. (p. 6)

Cet extrait montre l’ambition de la mise en données de l’histoire. Pour atteindre le but que Manning fixe dans cet article, a été créé à Pittsburgh World-historical dataverse, qui, sur sa page d’accueil, annonce ses objectifs comme suit:

Data on the human experience at the global level. Dataverse collects data on social-scientific, health, and environmental data for the world as a whole for the past four or five centuries.

Dataverse a pour but de collecter et fusionner des ensembles de données pour pouvoir, à terme, les exploiter globalement. Toujours dans le même article, Manning décrit sa démarche globale: 1. Assembler les données, 2. Créer une archive historique unifiée, 3. Analyser les données mondialement. Cette mission, remplie par le projet Dataverse du Center for Historical Information and Analysis dirigé par Manning, doit faire face à de nombreux défis techniques et méthodologiques, ce qui implique que les datasets mis en ligne et fusionnés soit sévèrement sélectionnés, qu’une démarche globale pour harmoniser ces données soit définie, mais aussi un changement conceptuel important (voir plus bas). Méthodologiquement, la fusion de données ayant été collectées avec des buts scientifiques potentiellement divergents peut aboutir à de graves biais dans la base de données finale.3

Je ne cache pas être fasciné par cette démarche, d’autant plus qu’elle est collaborative et est favorable à l’Open Data. Explorer Dataverse4 est très riche en découvertes et nombres d’entre nous devraient éplucher les données qui y sont disponibles. En outre, le site pointe vers des bases de données externes disponibles en ligne.

Toutefois, la démarche, pour le moment, me semble entrer dans le Big Data tel que danah boyd et Kate Crawford l’ont défini:

We define Big Data as a cultural, technological, and scholarly phenomenon that rests on the interplay of:
(1) Technology: maximizing computation power and algorithmic accuracy to gather, analyze, link, and compare large data sets.
(2) Analysis: drawing on large data sets to identify patterns in order to make economic, social, technical, and legal claims.
(3) Mythology: the widespread belief that large data sets offer a higher form of intelligence and knowledge that can generate insights that were previously impossible, with the aura of truth, objectivity, and accuracy.5

Le point 3 de cette définition est le plus important et est la base de tout l’article de boyd et Crawford. Or, l’article de Manning est ambigu. Il souhaite “to develop data and theory at global scale and over several centuries” mais n’insiste pas sur la manière de développer ces théories. En outre, il justifie l’intérêt de cette démarche par la possibilité de donner les moyens aux “décideurs” (planners dans son texte – il évoque des institutions internationales économiques et financières et les sommets sur le réchauffement de la planète) d’être en mesure d’embrasser une vision globale pour leur prise de décision.

Évoquant les problèmes conceptuels de sa démarche, il explique:

Conceptual obstacles include the reality that social science theories remain within discrete domains that restrict global analysis. Thus, micro and macro theories within given disciplines are not clearly connected; disciplines are connected only marginally to each other, and some visions of “the world” leave out whole continents, notably Africa and South America. Further, in the frustrating feedback loop with which we began, global patterns in social science have not been explored in much detail for lack of global data. (p. 6)

Cette volonté de fusionner les modes d’analyse des sciences sociales (dans lesquelles il met l’histoire) n’est pas très explicite. Il reste plutôt flou sur ce que cette nouvelle analyse unifiée donnerait et sur le rôle, qu’il estime central, du Big Data et de l’évolution des technologies, dans cette fusion. Oui, les technologies nous donnent de nouveaux moyens. Sont-ils tous pertinents?

La démarche globale de Manning me semble intéressante et doit être poursuivie sans aucun doute. Il me semble entendre trop de collègues qui opposent à ce type de démarches des obstacles méthodologiques dans le but très clair d’éviter qu’elles se développent, mais sans fournir une réelle réflexion. Il me semble même que ce comportement est un obstacle au développement des Digital Humanities en France. Reste que nombreuses sont les questions en suspens auxquelles il faudra répondre si l’on ne veut pas que les promesses du Big Data en histoire ne se réduisent pas à la portion congrue.

  1. Vous savez, cette histoire dont Pierre Nora parle comme suit: “ Sur quoi l’émergence d’une approche globale, ou mondiale, est venue servir de prétexte pour les uns et d’impératif majeur pour les autres au dépassement définitif d’une histoire nationale. Cette déconstruction et ce retournement de l’histoire officielle auraient pu être la source d’un enrichissement fécond. Ils l’ont été parfois. Mais le plus souvent, ils n’ont abouti qu’à un militantisme idéologique qui est le pendant du militantisme national(iste).” dans le dernier numéro du Débat.  in Nora, Pierre, « Difficile enseignement de l’histoire », Le Débat, 2013, n° 175, no 3, p. 3‑6. En réponse, voir: Capdepuy, Vincent, « Le déni du Monde », sur Aggiornamento Hist-Géo, http://aggiornamento.hypotheses.org/1453. [↩]
  2. Manning, Patrick, « Big Data in History: a World-Historical Archive ». [↩]
  3. Manning répond à ces enjeux dans son article. Je ne développe pas cet aspect ici mais n’y renonce pas pour un autre billet. [↩]
  4. L’une des facettes du Multivers de Moorcock? [↩]
  5. boyd, danah & Kate Crawford, « CRITICAL QUESTIONS FOR BIG DATA: Provocations for a cultural, technological, and scholarly phenomenon », Information, Communication & Society, 2012, vol. 15, no 5, p. 662‑679. [↩]

Mise en données du monde, mise en données de l’histoire?

5 réponses

By DARPA (Defense Advanced Research Projects Agency (DARPA)) [Public domain], via Wikimedia Commons

By DARPA (Defense Advanced Research Projects Agency (DARPA)) [Public domain], via Wikimedia Commons

Grâce à un billet1 de Guido Koller sur son excellent blog We think history, j’ai découvert le livre de Viktor Mayer-Schönberger and Kenneth Cukier sur le Big Data2.

Mise en données du monde?

Parmi les nombreux éléments apportés par le livre, je vais ici m’arrêter au chapitre Dataification3. Dataification a été traduit par le Monde diplomatique par “Mise en données du monde”, ce qui me semble assez juste. Les auteurs insistent sur le fait que cette mise en données précède l’ère numérique, en donnant particulièrement l’exemple de la marine militaire américaine, qui, par compilation de toutes les données (inscrites sur papier) rapportées au cours des voyages de ses bâtiments a pu les compiler et améliorer les routes, gagnant en temps et en efficacité. Et, ceci, au XIXe siècle.

Le mise en données du monde précède l’informatique et en conséquence la numérisation. Il s’agit de mesurer des éléments dont personne n’avait compris l’intérêt. En outre, cette mise en données implique qu’il y a une certaine valeur dans les grands ensembles de données qui manque dans les plus petits corpus, faits d’échantillons. C’est le cœur même du Big Data: le changement quantitatif entraîne un changement qualitatif.

Comment définit-on cette mise en données du monde?

“To datafy a phenomenon is to put it in a quantified format it can be tabulated and analysed” (p. 78).

La numérisation est, elle, l’action de convertir une information analogique en information numérique, faite de 0 et de 1. La mise en données d’un phénomène peut se faire sous forme analogique, même si aujourd’hui, les deux phénomènes sont liés.

Les auteurs replacent la quête humaine de quantification du monde sur le très long terme, dès le troisième millénaire avant notre ère. La mesure et l’archivage sont les premières étapes, très lointaines, de la mise en données du monde (p. 79). Ils permettent de reproduire l’activité humaine, de profiter de l’expérience de nos prédécesseurs, de planifier. Distances et poids, puis lieux, volumes et temps: la mesure s’est progressivement étendue. Une étape essentielle fut la mise au point de la numération arabe, qui a engendré l’expansion des mathématiques. Avec ces dernières, les données peuvent désormais être analysées. L’introduction, ensuite, de la comptabilité à double entrée a permis une forte diffusion des chiffres arabes, bien plus efficaces que le système romain. La comptabilité à double entrée montraient déficits et bénéfices – elle a ainsi donné du sens aux données tout en les standardisant.

Ces étapes furent longues. Chiffres arabes, mathématiques, comptabilité mirent plusieurs siècles à s’imposer dans le monde occidental. Une première accélération du temps commence au XIXe siècle où l’expansion des sciences pousse à la quantification de nouveaux phénomènes (électricité, température, pression de l’air, son…) (p. 81-82). Une seconde accélération, bien plus importante, est le résultat de l’arrivée de l’informatique. Cette dernière rend la quantification efficace et peu chère, elle autorise une analyse mathématique rapide des données et en fait ressortir des aspects invisibles autrement. Informatique et numérisation ont donné tout son potentiel à la mise en données du monde.

Pour bien montrer la différence entre numérisation et mise en données, les auteurs s’arrêtent longuement sur Google Books (entre autres exemples). La numérisation de millions de livres par Google et, ensuite, la mise au point de Google Ngram Viewer illustre la différence entre numérisation et mise en données. La première permet une lecture sur l’ordinateur ou à l’écran. La seconde permet de transformer des millions de livres en corpus de données sur lesquels ont peut appliquer une analyse “de masse” (p. 83-86).

Les auteurs développent ensuite l’exemple du lieu comme données, jusqu’à aboutir au système GPS et à ses applications possibles, commerciales et, surtout, non-commerciales4.

Enfin, ils s’attachent à la prochaine “frontière” de la mise en données, celle des interactions sociales5. Au passage, les auteurs rappellent que, si Twitter, notamment, limite la taille de ses messages à 140 caractères, leurs métadonnées sont au moins aussi importantes et, dans le cas de Twitter, très développées.

Like Google, a gaggle of social media networks such as Facebook, Twitter, LinkedIn, Foursquare, and others sit on an enormous treasure chest of datafied information that, once analyzed, will shed light on social dynamics at all levels, from the individual to society at large6.

L’extension de la mise en données n’est pas limitée, explique les auteurs dans la partie finale de l’article, et l’usage des données produites n’est limitée que par notre imagination.

Que cela signifie-t-il en histoire?

Une mise en données de l’histoire?

Cukier et Mayer-Schönberger le disent clairement: tout est potentiellement quantifiable, donc tout peut être mis en données. Il n’y a de fait pas de raisons d’ignorer les conséquences de cette mise en données en histoire.

Prenons l’exemple des réseaux sociaux7: jamais nous n’avons disposé d’autant de données pour décrire les pratiques sociales et les phénomènes sociaux. Jamais nous n’avons disposé d’autant de données sur la vie quotidienne de millions de gens, qui prennent en photos de nombreux aspects de leurs pratiques de tous les jours: leurs repas8, leur amour pour leur chat, leur manière d’éduquer leurs enfants, leurs relations au travail, leur rapport au politique, à la famille…

Ces données, aujourd’hui exploitées par les sociologues9, posent des problèmes méthodologiques importants. En quoi sont-elles représentatives de la population10? Sont-elles exploitables? Sont-elles accessibles? Seront-elles pérennes? La Just in time sociology essaye de répondre à ces questions. Lors d’une expérience récente11, j’ai pu constater, par exemple, que considérer l’ensemble des membres de Twitter comme une seule et même communauté n’a aucun sens. Les membres de Twitter “ne disent pas”, “ne pensent pas”, mais des millions d’individualités, parfois regroupés en communautés très nombreuses peuvent avoir des pensées particulièrement hétérogènes.

À terme, ces données seront des sources pour l’histoire et il est fort à parier que, dans quelques années, certaines thèses d’histoire contemporaine se feront exclusivement sur sources numériques, mais également avec des outils permettant des allers-retours constants entre lecture distante et lecture proche des sources12. Le déluge de données devra être géré par les historiens et les archivistes, y compris dans leurs aspects légaux13.

En outre, nous numérisons, à toute vitesse, des archives déjà existantes, et les historiens du contemporain auront, y compris pour les centres d’archives “institutionnels”, à faire face à des archives désormais tout-numérique. Je ne crois pas avoir besoin de revenir sur ce point, cette question étant traitée régulièrement sur ce blog14.

Mais la mise en données du monde ne touche pas qu’à la mise en données de l’histoire, mais aussi à la mise en données des historiens et de leurs pratiques.

Une mise en données des historiens?

Je vais ici aborder rapidement trois points:

  • La possibilité qui s’entrouvre de pouvoir “lire” au sens de Franco Moretti15 l’historiographie via des outils Big Data;
  • La possibilité d’observer et de capturer une historiographie “en train de se faire”, sur les réseaux sociaux, les blogs, etc;
  • La possibilité de capturer et étudier nos pratiques, avec l’exemple de ce que j’ai appelé les conférences “ubiquitaires”.

Google Books, Google Ngram et l’historiographie

Lorsque vous écrivez un ouvrage, un article, en histoire (et dans bien d’autres sciences sociales ou humaines), la première chose qui doit être faite est une étude de l’historiographie – l’histoire des historiens qui ont déjà écrit sur le sujet que vous abordez.

Aujourd’hui, ces chapitres ou parties historiographiques sont, pour les sujets assez larges et très traités par les historiens, souvent partiels. Pour beaucoup de bonnes raisons:

  • Une littérature très abondante qu’il n’est pas facile d’embrasser dans sa totalité;
  • La barrière linguistique – les historiens ne maîtrisent pas toutes les langues (!) et on ne peut connaître tous les ouvrages de toutes les historiographies nationales;
  • Parfois, de bêtes questions de temps.

Les auteurs de Big Data donnent en exemple Google Books et Google Ngrams. Google Books a permis la numérisation de nombreux ouvrages. Ngram va permettrent d’exploiter ces livres comme des données, de les analyser et d’en faire ressortir des éléments inconnus ou difficiles à rechercher.

Le principe de Google Ngram est assez simple: il vous permet de mesurer les occurrences d’une expression (mot ou groupe de mots) dans un corpus donné. Le choix des corpus se fait selon la langue. Il est, dans le cas de Google Books, de plusieurs millions d’ouvrages. Il vous permet de visualiser plusieurs Ngrams en même temps – ainsi de comparer l’usage de deux (ou plus) expressions concurrentes16.

En septembre dernier, j’étais à l’école d’été de RICHIE, un réseau de jeunes chercheurs en histoire des relations internationales. Le thème de cette école était l'”européanisation”. Quand cette expression est-elle apparue? En rapport à quoi?

L’utilisation de Google Ngram nous a permis:

    1. De voir à quand remontait, en Français, Allemand et Anglais, la (l’une des) première(s) utilisation du terme;
    2. De comprendre (ce qui était assez logique, en somme), que ce terme est apparu d’abord en relation avec la colonisation;
    3. De constater que son usage explose à partir des années 1980, en lien avec la construction européenne.

Ces résultats n’ont rien de surprenant. Simplement, ils ont été acquis en quelques minutes de travail et non plusieurs mois de recherche.

Bien entendu, Google Ngram ne permet pas de remplacer un travail historiographique classique, mais il peut très facilement aiguiller une telle recherche, l’accélérer, et nous mener vers des travaux que nous ne connaissions pas du tout.

En tant que tel, de nombreux ouvrages ayant une partie historiographique sont susceptibles d’être révisés. Prenons un exemple, celle de la légende dorée des Humanités numériques: d’abord le père Busa, puis les pionniers, qui s’en inspirent, puis les Linguistic Computing, issus de ces pionniers, qui se transforme en Humanities computing, un peu plus large, avant de devenir, en 2005, les Digital Humanities.

Sauf que Ngram, associé cette fois à Google Scholar et ses données exploitables par le logiciel Harzing’s Publish or Perish, peut nous raconter une autre histoire:

  • Il est indéniable que Roberto Busa a une influence déterminante. Il a toujours été très cité, mais… particulièrement à partir des années 1980 puis au cours des années 2000;
  • Si l’on utilise Google Ngram, on s’aperçoit que les premiers à utiliser les termes linguistic computing citent… l’économie quantitative et non Busa. À l’image des Annales en France ou de la New economic history aux États-Unis, les Linguistic Computing sont d’abord issus de l’influence des sciences économiques et des sciences statistiques avant d’avoir été influencés par Busa.

Ce type de bases de données, de logiciels, de corpus seront de plus en plus disponibles et élaborés. C’est une mise en données de l’historiographie qui sera sans précédent. Mais on peut aller plus loin: les historien.ne.s sont de plus en plus sur le web: par les réseaux sociaux, les blogs ou les revues en ligne notamment. On peut aujourd’hui capturer une historiographie en train de se faire.

Capturer l’historiographie en train de se faire?

Un réseau social comme Twitter donne accès à ses données par divers moyens. Sur ce réseau précisément, on peut observer des discussions en cours, notamment par l’intermédiaire d’un “hashtag”, c’est-à-dire un mot précédé d’un croisillon – “#histoire” par exemple.

Il existe un hashtag #twitterstorians, inventé par Katrina Gulliver. Si l’on capture cette discussion qui dure depuis plusieurs années, on peut voir ressortir un certain nombre de préoccupations des jeunes historien.ne.s (oui, la plupart sont jeunes). La discussion laisse ainsi souvent la place à la diffusion de l’information sur les postes à pourvoir17. On peut aller vers des historiographies plus précises – par exemple, l’histoire environnementale avec #envhist.

De plus en plus de chercheur.se.s, en outre, s’expriment par le biais de blogs, individuels ou collectifs, sur des thèmes précis ou sur l’ensemble de leurs activités. Là aussi, ces données sont captables, notamment par le biais des flux RSS, et l’on peut les agréger dans une base de données ou sur un autre site. C’est sur ce principe que repose l’initiative PressForward. L’un des objectifs de cette initiative est de capturer une littérature scientifique grise qui est publiée sur le web. En histoire, Global perspectives on digital history (GPDH – qui a été notament animé par le regretté Peter Haber) permet ainsi d’avoir une vision rapide et globale de ce qui s’écrit dans le domaine de l’histoire numérique. Cette technique pourrait être appliquée à tous les domaines de l’histoire.

Capturer les pratiques des historiens: exemple des conférences

Un autre secteur de mise en données des historiens, du moins de leurs pratiques, est l’organisation des conférences. Les colloques servent à de nombreuses choses: se rencontrer, présenter nos résultats, en débattre, parfois concevoir de nouveaux projets. Jusqu’ici, les colloques laissaient essentiellement une trace concrète de leur existence: l’édition des actes du colloque. De plus en plus, ils laissent de nombreuses autres traces: des sites webs, des présentation en ligne, des discussions (parfois) sur les réseaux sociaux…

Il est possible de collecter et conserver ces traces numériques de nos colloques, qui, ubiquitaires, se déroulent ainsi dans plusieurs lieux (si l’on considère qu’un site web ou un réseau social est un lieu). Ainsi peut-on connaître mieux ce que pensent et discutent les participants d’une conférence – les actes du colloque ne rapportant que ce qui a été exprimé par les intervenants, parfois corrigé à la suite des discussions avec le public18.

Les biais du Big Data et de la mise en données du monde

Bien sûr, tout ceci doit être mis en balance avec de nombreux éléments. Je vous renvoie au fameux article de Kate Cawford et danah boyd, Six Provocations About Big Data19 et au plus récent article de Kate Crawford dans Foreign Policy.

Quelle que soit la taille d’un corpus, même s’il se rapproche le plus possible de l’entièreté des données collectées (ce qui est l’une des définition du Big Data), il reste une construction sociale, qui repose sur une hypothèse. Son exploitation – et les auteurs de Big Data, rappelant le débat autour de l’article de Chris Anderson20, l’affirment clairement – repose sur des théories statistiques et mathématiciennes. On peut se tromper, même (surtout?), si l’on pense avoir des données intégrales sur un phénomène donné.

Ces outils et méthodes numériques devront donc être utilisés avec soin. En outre, l’état de transition, en termes de mise en données de l’histoire, peut engendrer des erreurs et des déséquilibres. Tim Hitchcock nous rappelle que des données mal saisies – dans ce cas-là, une reconnaissance de texte qui a été mal faite – peut dévoyer toute une historiographie21. Des archives numérisées et disponibles comme corpus peuvent être utilisées aux dépens d’autres sources. Ainsi, l’Organisation mondiale de la santé a-t-elle numérisé et mis en ligne l’ensemble des documents de la Société des Nations qui touchent à la malaria. La conséquence? La malaria est mieux traitée par les historien.ne.s que d’autres maladies. Il existe ainsi une fracture numérique entre ce qui est numérisé et ce qui ne l’est pas ou mal. Cette fracture numérique touche aussi un certain nombre de langues minoritaires. Ainsi, selon Gerben Zaagsma dans notre ouvrage à paraître, est-il difficile de numériser et d’exploiter des données en yiddish.

*
* *

La mise en données de l’histoire est un phénomène qui avance. Ses conséquences ne sont pas toutes encore très claires. Elles dépendent de nombreux facteurs: ses modalités, les outils développées pour faire face aux traces de l’histoire mises en données, la manière dont les historien.ne.s y feront face. Une ère réelle de renouvellement des sciences historiques est en train de s’ouvrir.

  1. Koller, Guido. « Big Data ». We think History 18 juin 2013. Web. 10 juill. 2013. [↩]
  2. Mayer-Schönberger, Viktor, et Kenneth Cukier. Big Data: a Revolution That Will Transform How We Live, Work, and Think. Boston: Houghton Mifflin Harcourt, 2013. Print. [↩]
  3. Par ailleurs traduit sur le site du Monde diplomatique: Cukier, Kenneth, et Viktor Mayer-Schönberger. « Mise en données du monde, le déluge numérique ». Le Monde diplomatique juill. 2013. Web. 9 juill. 2013. [↩]
  4. Notamment l’utilisation des données GPS en santé publique, p. 90. [↩]
  5. Plus vulgairement: les réseaux sociaux, p. 91 et suivantes. [↩]
  6. p. 94 [↩]
  7. Voir notamment le blog de Frédéric Pailler:Frédéric, Pailler. « #twittology : sociologie “just-in-time” et collecte de tweets ». Sociographie 8 juill. 2013. Web. 12 juill. 2013. [↩]
  8. De ce point de vue, le réseau social photographique Instagram est une mine d’or. [↩]
  9. Voir à nouveau les billets de blog de Frédéric Pailler. « Préparer un corpus de tweets avec open/google Refine pour le visualiser dans Gephi ». Sociographie 9 avr. 2013. Web. 12 juill. 2013. [↩]
  10. Voir par exemple: Mitchell, Amy, et Paul Hitlin. « Twitter Reaction to Events Often at Odds with Overall Public Opinion ». Pew Research Center 4 mars 2013. Web. 12 juill. 2013. [↩]
  11. Clavert, Frédéric. « L’algorithme est grand, je suis tout petit ». Frédéric Clavert 11 juin 2013. Web. 12 juill. 2013. [↩]
  12. Clavert, Frédéric. « Lecture des sources historiennes à l’ère numérique ». Frédéric Clavert 14 nov. 2012. Web. 15 mars 2013. [↩]
  13. Ce dont j’ai déjà parlé ici:Clavert, Frédéric. « Histoire et Données Personnelles – Pensées Éparses (6) ». Frédéric Clavert 27 mars 2013. Web. 12 juill. 2013. [↩]
  14. Par ailleurs, le livre que j’ai codirigé avec Serge Noiret contient des éléments sur le sujet:Clavert, Frédéric, et Serge Noiret. L’histoire contemporaine à l’ère numerique / Contemporary history in the digital age. Bruxelles: PIE – Peter Lang, 2013. [↩]
  15. Moretti, Franco. Graphs, Maps, Trees: Abstract Models for Literary History. Verso, 2007. Print. [↩]
  16. Un essai que j’avais fait pour “histoire diplomatique” et “histoire des relations internationales”: Clavert, Frédéric. « Le Miroir de Nos Faiblesses? » Frédéric Clavert 17 oct. 2012. Web. 12 juill. 2013. [↩]
  17. Un billet de blog sur le sujet est en préparation [↩]
  18. Sur le sujet, voir mon billet précédent. [↩]
  19. boyd, danah, et Kate Crawford. « Critical Questions for Big Data ». Information, Communication & Society 15.5 (2012): 662‑679. Taylor and Francis+NEJM. Web. 15 janv. 2013. [↩]
  20. Anderson, Chris. « The End of Theory: The Data Deluge Makes the Scientific Method Obsolete ». WIRED 23 juin 2008. Web. 12 juill. 2013. [↩]
  21. Hitchcock, Tim. « Academic History Writing and Its Disconnects ». Journal of Digital Humanities Winter 2011. Web. 27 juin 2012. [↩]