Archives par étiquette : textmining

Traitement et analyse d’un corpus de tweets: sortir de l’artisanat

J’ai publié il y a quelques semaines un billet expliquant rapidement quelques résultats d’une collecte de tweets. J’ai souhaité l’approfondir et en faire un article, à la suite de la publication d’un appel à contribution des Cahiers du numérique.

Au fur et à mesure de la rédaction de cet article, mais, surtout, du traitement des tweets collectés, ma méthode s’est révélée trop artisanale – à tel point que j’écrirai cet article, mais pour une autre revue. Je souhaite donc ici la formaliser un peu plus, mais également proposer une sorte de « protocole » (version pompeuse) ou de bonnes pratiques (version humanités numériques) pour le traitement d’un tel corpus.

Je propose donc ci-dessous un flux de travail avec des outils libre, flux commençant une fois la collecte des tweets achevée. J’utilise OpenRefine, LibreOffice, Gephi et iRaMuTeQ. J’ai publié une carte heuristique sur MindMeister, qui permet le partage et le travail collaboratif sur ce type de cartes.

Si collaborer à ce document vous intéresse, laissez un commentaire.

L’apport du numérique aux sciences historiques: exemple d’une analyse computationnelle des archives Werner

Le CVCE a organisé un colloque sur « Pierre Werner, une vision pour l’Europe: pensée, action, enseignements ». Voici la présentation que j’ai préparée à cette occasion.

Les mots de l’histoire économique au travers du site web de l’Association française d’histoire économique

Membre de l’Association française d’histoire économique (AFHE), j’en suis le webmestre – il y a surtout une équipe de choc qui s’occupe du site, à tel point que je ne puis plus dire que je remplis mes fonctions pleinement. Toujours est-il qu’être webmestre a un grand avantage: on peut accéder aux données des sites web, surtout quand celles-ci peuvent être exportées dans un format structuré comme sous wordpress, logiciel utilisé par la plate-forme Hypothèses d’OpenEdition.

J’ai donc exporté l’ensemble du contenu du site. Le site de l’AFHE, c’est aujourd’hui 594 articles répartis dans 35 catégories et sous-catégories différentes. Il y a 45 commentaires, ce qui est peu, mais normal pour un site plutôt institutionnel (ils ont été exclus de cette analyse). Plus de la moitié des articles sont liés à l’organisation d’événements scientifiques (330), assez peu portent sur le fonctionnement de l’association (une cinquantaine). La partie « Enseignement » contient 66 billets, dont 32 liés au secondaire. 94 billets touchent à des annonces de publications (livres, collectifs ou non). Cinquante-cinq articles annoncent des thèses, mémoires de master ou, plus rarement, habilitations. Il y a peu d’offres d’emplois, un peu plus de « ressources » (archives, ressources en ligne, prix, etc).

J’ai ensuite formaté le corpus pour IRAMUTEQ – ce qui est la phase la plus longue – avec une difficulté que je n’ai pas pu pleinement contourner: le site web n’est pas qu’en français, alors que la plupart des logiciels de fouille de textes ne gèrent qu’une seule langue.

J’ai ensuite procédé à trois types de manipulation du texte:

  • Le traditionnel « nuage de mots clés » (ci-dessus);
  • L’analyse de similitude (ie les relations entre les mots);
  • La classification méthode GNEPA.

Deux petites remarques préliminaires:

  • Le corpus est lemmatisé: les différentes formes d’un même mot sont considérées comme un seul mot. Ici, cela a provoqué quelques incohérences: la ville « Paris » est devenue « pari », « Sorbonne » est devenue « sorbon » par exemple;
  • Je me contenterai de mettre ici à disposition les résultats et de faire quelques commentaires.

Le nuage de mots clés

Nuage de mots à partir du corpus AFHE

Nuage de mots à partir du corpus AFHE

Le nuage de mots clés est une première approche, souvent insuffisante, mais intéressante en guise d’introduction. La première chose qui frappe sont les trois mots les plus gros: histoire, pari (en fait Paris) et université. La présence de Paris rappelle la concentration française sur sa capitale, y compris dans le domaine universitaire. « Histoire » et « Université » semblent avoir une place logique dans ce mot clé, mais le plus intéressant restera de savoir avec quels autres mots ils sont liés, ce qui se fera via l’analyse de similitude.

Si l’on regarde un peu dans les détails, on a une idée de la diversité de l’histoire économique: social, travail, politique, marché, industriel, entreprise, communication, commerce, banque (relativement petit). On y voit des mots reliés aux aspects institutionnels et de statut (université, professeur, président, ehess…), ainsi qu’un relatif déséquilibre entre les noms et adjectifs liés à la France et ceux liés à l’international, en faveur du premier. Enfin, on y retrouve des mots liés à la vie de l’association.

L’analyse de similitude

Analyse de similitude du corpus AFHE

Analyse de similitude du corpus AFHE

L’analyse de similitude permet de regarder un texte comme s’il était un réseau de mots. On retrouve les mêmes mots, avec un « poids » similaire que dans le nuage. Mais l’on peut voir les relations entre eux. Paris et Université sont fortement reliés – confirmant cette concentration du monde universitaire français sur la capitale. Si l’on regarde dans le détail, les mots reliés à Paris sont des prénoms, des lieux, des types d’événements scientifiques. Cette concentration est d’abord celle des événements scientifiques. C’est assez similaire pour le terme « Université ». On y retrouve quelques noms de ville de région (Bordeaux).

Si l’on regarde un peu plus dans les détails autour des nœuds « histoire », « social », « économique » et « recherche », on aperçoit, comme dans le nuage mais avec plus de nuances et de finesse, la diversité de l’histoire économique en France. Il y a bien sûr un triangle histoire-économique-social mais avec de forts liens entre « économique » et « politique », entre « social » et « économique », entre « social » et « travail ». Le terme « banque » est isolé, et plus relié à France. C’est logique, l’une des « unités » dynamiques sur l’histoire bancaire est la mission historique de la Banque de France. Il y a ici probablement un biais lié à la nature du corpus (beaucoup d’annonces d’événements scientifiques).

« Histoire » est aussi fortement relié à « société », cette dernière à « français », qui a aussi une forte relation au terme « entreprises ». Peut-on en déduire que l’histoire économique française analyse l’histoire des entreprises d’abord en relation avec la société française?

Le détail des relations du termes « politique » permet de voir qu’il ne s’agit pas ici de « politique » au sens « vie politique française », mais dans une acception économique: politique monétaire, politique fiscale, politique publique, politique de la concurrence.

Il y a, à gauche du graphe, tout un ensemble de mots anglais. Le graphe est alors moins pertinent, les termes « banals » de la langue de Shakespeare n’étant pas éliminés. Ce que l’on voit toutefois ressortir est une forte présence du terme « business ».

Dernière remarque: ce qui me frappe, en tant qu’historien qui a travaillé (et travaille toujours) sur les acteurs liés à l’économie, c’est la faible présence du terme « acteur », essentiellement relié à « économie ». Toutefois ((Merci à Claire Lemercier pour cette remarque), on peut ne pas parler d’acteurs, mais de banquiers, chefs d’entreprises, ouvriers… donc la faible présence de ce terme n’est pas significative. D’ailleurs, la classification relativise cette faible présence du terme « acteurs ».

La classification méthode GNEPA

La classification méthode GNEPA permet de créer des groupes de mots (profils) que l’ont retrouve le plus souvent ensembles, puis de caractériser comment s’imbriquent ces groupes de mots.

Dans le cas du corpus AFHE, il déduit cinq profils:

  • Le premier est relatif à l’organisation d’événements et à certains aspects institutionnels;
  • Le second profil est lié au fond de la recherche en histoire économique: politique, guerre, croissance, activité, développement… J’y ai trouvé « schacht » (si, si) et « acteur », ce qui nuance l’analyse de similitude;
  • Le troisième profil touche à la manière de travailler des chercheurs: approche, analyse, réflexion… avec des aspects interdisciplinaires: économistes, sociologue, discipline;
  • Le quatrième profil est un mélange entre la vie de l’association et des aspects liés à la publication des articles, livres, etc et aux appels à contribution (la partie non matérielle de l’organisation des événements);
  • Le cinquième profil est lié à la partie anglaise du corpus.

Si l’on regarde le dendogramme (ci-dessus), on s’aperçoit que le 5e profil est séparé des autres: c’est lié à la différence de langue. Le premier profil est le plus important, et est relativement autonome par rapport aux autres. Classes 2 et 3 sont les plus proches, ce qui est logique: le fond est relié à son analyse.

Si l’on regarde l’analyse factorielle de correspondance, ces liens entre les différents profils sont confirmés.

Conclusion

  • Il s’agit d’une analyse rapide. Si quelqu’un est tenté, le corpus est disponible et prêt pour iramuteq;
  • Cette analyse porte sur différents aspects: la vie de l’association, les conditions matérielles de l’organisation des événements scientifiques, le fonds de ce qu’est l’histoire économique en France aujourd’hui, les méthodes de travail utilisées par les historiens. En toute théorie, l’analyse devrait être affinée sur chacun de ces sujets pour aller plus loin;
  • Le fait que le site porte particulièrement sur l’organisation d’événements scientifiques me semble orienter l’analyse: le fait que « banque » soit relié à « France » puis « Paris » reflète d’abord l’activité de la mission historique de la Banque de France (l’organisation des séminaires) plus que la réalité de l’analyse historienne des banques. Je crois donc qu’il faudrait attendre que plus de données soient collectées (c’est-à-dire attendre encore plusieurs années de vie du site) pour tester ce qui fut ma motivation initiale: utiliser ces données pour voir des tendances historiographiques se dégager;
  • Multiplier les types d’analyse permet de nuancer les conclusions que l’on peut tirer à partir d’une seule méthode.

Logiciels utilisés

  • Ubuntu 13.04;
  • IRAMUTEQ 0.6 alpha 3;
  • R 2.15.3;
  • Gephi (à partir de l’analyse de similitude opérée par IRAMUTEQ) 0.8.2 beta;
  • wordle.net pour le nuage de mots clés (à partir du nuage créé par IRAMUTEQ).