‘Culturomics’: prendre un bazooka et ne même pas tuer une mouche

Depuis quelques années, notamment depuis la mise en ligne de Google Ngram Viewer en 2010, est apparu un nouveau champ de recherche appelé « culturomics », c’est-à-dire une logique de Big Data (y compris dans sa dimension mythique1) appliqué à l’histoire culturelle. Lancé par des chercheurs proches de google, ce champs de recherche estime pouvoir analyser par des démarches quantitatives des tendances culturelles, de manière neutre2. On est pleinement dans la logique décrite par Chris Anderson dans Wired3 et dénoncée par danah boyd et Kate Crawford4. Le premier article sur ce domaine de recherche a été publié dans le très réputé (et souvent très décevant) Science5.

Ce même journal, dans sa livraison d’août, a publié un article dans cette mouvance: « A network framework of cultural history »6. Les auteurs, en compilant des données de plusieurs sources touchant aux lieux et dates de naissance et décès de « notable individuals » (personnalités éminentes), y décrivent un réseau des centres culturels les plus importants sur 2000 ans. Si un lieux attire plus d’artistes (qui sont le cœur de l’étude) qu’il n’en perd (plus d’artistes y sont décédés que d’artistes n’y sont nés), il est considéré comme un centre d’attraction. Il s’agit de savoir quels sont les grands centres d’influence culturelle en Europe et en Amérique du Nord sur 2000 ans.

Les biais discutés par les auteurs

Les auteurs ont utilisé quatre bases de données et Google Ngram (pour associer des lieux à des événements, permettant de comprendre certains phénomènes observables dans la modélisation du réseau complexe issue de leur recherche). Ils détaillent dans les documents en annexe les biais connus de chacune des bases de données.

Les bases de données utilisées sont freebase.com (base de données collaborative), Allgemeines Künstlerlexicon, Getty Union List of Artist names, Winckelmann Corpus (bases de données d' »autorité » – curated). Les auteurs discutent largement des biais connus de ces bases de données. ils en ont identifié de différentes sortes:

  • Biographique: seulement une partie (12 à 28%) des individus sont références avec une  date et un lieu de naissance et de décès. Il est en outre impossible de savoir de manière fiable ce qui se passe entre les deux pour tous les artistes d’où le fait que les auteurs n’aient pris en comte que la naissance et le décès.
  • Temps: Ce que je retiens de leur remarque est le manque de fiabilité de leur étude pour la période précédant 1200.
  • Espace: Certains lieux sont mieux renseignés que d’autres, mais, comparé à des bases de données démographiques plus généralistes, les sources utilisées n’ont pas plus de biais que les autres types de source.
  • Curated vs. crowdsourced: Freebase recense plus d’individus lié au présent, les autres en recensent plus du passé. Les deux démarches sont donc complémentaires.
  • Still alive: étant donné que de nombreux artistes du 20e siècle sont encore en vie (et donc n’ont pas de lieux de décès), les données ne sont pas très valables après 1930, et sous-estiment l’importance culturelle actuelle de certaines villes – Istanbul, par exemple.
  • Biais liés à l’agrégation: les noms avec des variantes, les lieux qui changent de noms, etc. Il est assez facile de résoudre ces problèmes pour les lieux très connus (Moscou, Constantinople puis Istanbul, etc), plus difficile pour les lieux moins connus. Dans certains cas, les auteurs précisent qu’ils ont pu détailler les quartiers (Londres, Paris)
  • Langue: « A logic next step would be to engage in a comparative analysis of further datasets in different languages, striving for a world-wide coverage of the birth-death macroscope. »

Les auteurs ont développé des tests statistiques, détaillés dans le document méthodologique, pour montrer que ces biais n’ont pas ou pas beaucoup d’effets sur le résultat de leur étude. Le problème, me semble-t-il, est qu’il y a un biais majeur qui n’est pas discuté et qui mine potentiellement l’ensemble de l’étude.

Qu’est-ce qu’une « personnalité éminente »?

L’étude repose sur l’inclusion dans son jeu de données de notable individuals, c’est-à-dire de personnalités dites « éminentes ». Qui est une personnalité éminente? La réponse des auteurs est simple: une personnalité est éminente si elle est incluse dans les bases de données utilisées. Ils ne se penchent pas sur les critères d’inclusion d’un individu dans chacune des bases de données.

En clair, les personnes inclues dans le jeu de données vont du roi David à… Poppy Barlow. Qui est cette dernière? La fille malheureusement mort-née d’un membre du groupe de pop anglaise TakeThat. Autant dire que cette notion de « personnalité éminente » est tellement large qu’elle regroupe des individus de fonction, de nature, de rôle « éminemment » différents.

Ce n’est pas en soi nécessairement problématique, mais il y a simplement derrière cette non-définition des personnalités éminentes un biais d’ordre culturel non explicité par les auteurs, en tout cas pour le XXe siècle: est un artiste quelqu’un qui est reconnu comme tel par l’industrie du divertissement. C’est une vision très nord-américaine du domaine culturelle (mais pas moins légitime que d’autres visions). On peut émettre l’hypothèse que pour les siècles précédents le XXe, d’autres biais culturels implicites existent, liés vraisemblablement à la nature des bases de données utilisées. Il est dommageable que les auteurs n’aient pas plus travaillé sur ce point, qui n’invalide pas nécessairement leur résultat, d’ailleurs, mais risque de jeter un discrédit sur leur étude. Toutefois, le principal problème de cette étude ne réside pas nécessairement dans ces biais non explicités.

La maigreur des résultats

La faiblesse essentielle de cette étude réside dans ses résultats. Nous pouvons en énumérer quelques-uns:

  • Rome est un centre culturel majeur, dépassé par Paris au XVIIIe siècle, elle-même concurrencée par New York, notamment, dans la seconde moitié du XXe;
  • Il existe en Europe deux modèles, l’un plus fédéral, l’autre plus centralisé;
  • Le Royaume-Uni est l’objet d’une tension entre un système centralisé sur Londres et une sorte de concurrence fédérale (en Écosse notamment).

En clair, la France est centralisée et l’Allemagne fédérale. Les États-Unis dominent désormais culturellement le monde. Le Royaume-Uni est habité par une tension entre l’Angleterre et les autres pays constituant l’Union. Rome est un centre culturel d’une longévité exceptionnelle. Tout ceci est largement étudié et su depuis un siècle, sans que l’on ait eu besoin de moyens informatiques délirants pour le démontrer.

On est dans le cadre du « problème russe »7. Si l' »histoire numérique » ou les « culturomics » veulent montrer leur pertinence, ce n’est certainement pas avec ce type d’étude. Le seul point positif – et c’est finalement le résultat essentiel de cette recherche – est la publication des jeux de données, qui permettra peut-être à d’autres chercheurs de voir des éléments plus originaux, de regarder, également, ce qui se passe dans les marges – ce qui est susceptible de donner des résultats plus intéressants que la liste de banalités énoncée ci-dessus.

  1. cf. danah boyd et K. Crawford, « CRITICAL QUESTIONS FOR BIG DATA: Provocations for a cultural, technological, and scholarly phenomenon », Information, Communication & Society, vol. 15, no 5, p. 662‑679, juin 2012. []
  2. J.-B. Michel, Y. K. Shen, A. P. Aiden, A. Veres, M. K. Gray, The Google Books Team, J. P. Pickett, D. Hoiberg, D. Clancy, P. Norvig, J. Orwant, S. Pinker, M. A. Nowak, et E. L. Aiden, « Quantitative Analysis of Culture Using Millions of Digitized Books », Science, vol. 331, no 6014, p. 176‑182, déc. 2010. []
  3. C. Anderson, « The End of Theory: The Data Deluge Makes the Scientific Method Obsolete », WIRED, 23-juin-2008. []
  4. op. cit. []
  5. J.-B. Michel et alii, op. cit., http://www.sciencemag.org/content/331/6014/176.abstract []
  6. M. Schich, C. Song, Y.-Y. Ahn, A. Mirsky, M. Martino, A.-L. Barabási, et D. Helbing, « A network framework of cultural history », Science, vol. 345, no 6196, p. 558‑562, janv. 2014. En libre accès: http://www.sciencemag.org/content/345/6196/558.full?ijkey=vY7vVRI0FczsQ&keytype=ref&siteid=sci ; consulter également les documents complémentaires (y compris la méthodologie): http://www.sciencemag.org/content/345/6196/558/suppl/DC1 ; et le site web: http://www.cultsci.net/ []
  7. D. Cohen, « It’s About Russia », Dan Cohen’s Digital Humanities Blog, 06-mars-2007. http://www.dancohen.org/2007/03/06/its-about-russia/ []

3 réflexions au sujet de « ‘Culturomics’: prendre un bazooka et ne même pas tuer une mouche »

  1. Frédéric Glorieux

    Bonjour,

    Je découvre votre blog par votre message sur la liste des carnetiers.

    J’ai découvert avec plaisir la référence à la lecture rapide de Woody Allen (Guerre et Paix, c’est à propos de la Russie), mais je suis partagé sur le ton de votre conclusion. Objectivement, il est encore difficile de faire plus que de découvrir l’eau chaude avec les outils numériques, mais il y a tout de même une différence, “on le sait”, ce n’est pas la même chose que “on le voit”. Comme vous le faîtes remarquer, on peut fouiller les marges d’un graphique, la carte peut dire d’autres choses que le texte, tandis que derrière les mots (qui ne sont pas cités), on ne trouvera pas de faits nouveaux. Le problème regrettable, c’est que les instruments sont encore pris pour un but en soi, il faudrait qu’ils soient plus naturels, plus diffusés, pour servir des projets de recherche plus subtils. Ce qui fait problème ici, ce n’est pas trop les données et les méthodologies, c’est le manque de questions à leur poser.

    Par hasard, j’ai touché à un sujet similaire pour d’autres raisons. J’avais besoin de Google Ngram pour tester certaines collocations, mais avant, j’avais besoin de savoir un peu plus ce qu’il avait dans le ventre : http://resultats.hypotheses.org/92. Google livre quelques données brutes qui permettent de connaître le nombre de livres par an qu’il a mangé. Je ne connais pas le domaine, mais j’ai été très surpris par les graphiques. On constate la centralisation française par le nombre de crans dans la courbe, sensible aux crises de notre histoire, tandis que le domaine espagnol est beaucoup plus homogène. Mais ma question concerne deux paliers que je ne comprend pas. Vers 1907, puis après 1968, la production éditoriale selon Google books se ralentirait en Europe. Est-ce un effet de la politique d’acquisitions des bibliothèques américaines, ou vraiment un phénomène observable dans les catalogues européens ?

    De cette expérience je tire aussi une autre réflexion qui va dans votre sens, la massification des informations depuis 1950 ne permet pas de comparer de la même manière toutes les périodes. Parmi 500 livres par an, ce ne seront pas les mêmes sujets, les mêmes auteurs, et donc les mêmes mots, que parmi 3000, ou bientôt 15 000. Est-ce qu’il y avait autant de livres de cuisine au XVIIIe que maintenant ? Le problème est similaires pour les personnes illustres, il faudrait pouvoir se concentrer sur des catégories comparables entre les périodes, reste à savoir comment par exemple trouver quelque chose dans l’antiquité ou aujourd’hui qui correspond à un évêque du Moyen-Âge.


    Frédéric

    Répondre
    1. Frédéric Clavert Auteur de l’article

      Bonjour Frédéric,

      j’ai apprécié votre billet sur Google NGram (ce que j’ai pu en lire: je l’ai survolé pendant mes congés, il faut que j’y retourne). Oui, je suis peut-être un peu dur, mais il y avait un ton dans la com’ autour de l’article qui était du type « groundbreaking science » qui contrastait avec les maigreurs des résultats présentés autres que techniques. Finalement, le résultat le plus intéressant de cette étude est la mise à disposition du jeu de données, pour que d’autres puissent le questionner. Par ailleurs, on est d’accord sur les « on sait que », mais je pourrais trouver assez facilement des études montrant que ces conclusions ont déjà été démontrée scientifiquement.

      En travaillant sur ce billet, j’ai trouvé cet article: https://www.academia.edu/7969295/Mining_the_Twentieth_Centurys_History_from_the_Time_Magazine_Corpus

      Beaucoup plus prudent, sans fanfare, mais rigoureux, et qui s’interroge sur la capacité des projets de recherche « big data » à trouver des résultats vraiment nouveaux. Mais de manière générale, j’ai souvent été déçu par les articles de Science, souvent moins bons que le reste de la production scientifique des auteurs qui y publient, bizarrement.

      Bien à vous,
      Frédéric

      Répondre
      1. Frédéric Glorieux

        Merci beaucoup pour cet article. Cela fait un beau travail à faire pour le français !

        Sur le niveau de Science (que je ne suis pas), je vous dirais juste que les articles des disciplines que je ne pratique pas m’impressionne toujours plus que ce que je connais. Un seul papier de mathématiques, même très médiocre, suffit à suspendre mon jugement. Par ailleurs, il se peut aussi que l’Europe a une sensibilité plus aiguisée à l’histoire.

        Je ne veux surtout pas vous prendre votre temps de lecture mais je suis pas historien, je ne comprends pas le moment 1907 en Europe. J’ai pris les données data.bnf et je vais approfondir.

        Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *