Figure 1. Résultat de l’extraction de commentaires d’un post Instagram
Notre avis
Ces outils font très correctement leur travail et ont le gros avantage d’extraire les commentaires avec de nombreuses autres données associées (date du commentaire, nom de l’utilisateur qui a posté, etc.) et ce, dans un fichier bien structuré et directement exploitable. D’après nos tests, le meilleur outil est Export Comments qui a l’avantage de couvrir plusieurs réseaux sociaux, est simple d’utilisation et fournit des résultats bien structurés (Cf. figure 1).
Mais il y a plusieurs limites à l’utilisation de ces outils.
La première, c’est que ce sont tous des outils freemiums qui ne permettent pas de tout d'exporter dans la version gratuite. Export Comments, par exemple n’exporte que les 100 premiers commentaires sous chaque post. Au-delà, il faut payer 11$ pour 3 jours ou 45$/mois, ce qui est cher pour une utilisation ponctuelle. LinkedIn Comment Exporter, quant à lui limite à dix commentaires par post dans sa version gratuite, ce qui le rend pratiquement inutile. Il faut ensuite débourser entre 5 et 10$ par mois. Certains exigent même d’entrer un numéro de carte de paiement pour tester l’outil. Cette tendance se retrouve assez fréquemment.
La seconde, c’est le problème de la pérennité. Ces outils ont généralement une durée de vie assez courte.
Les outils de scraping
Autre solution, cette fois-ci non spécifiquement dédiée aux réseaux sociaux et aux commentaires : les outils de scraping classiques qui sont des outils permettant d’extraire automatiquement des données sur le Web. Ces outils sont nombreux et il en existe plusieurs types.
Les extensions de navigateurs pour le scraping
On commencera par les plus simples, disponibles sous forme d’extensions de navigateurs comme :
Notre avis
Ces outils sont clairement plus difficiles à prendre en main. Ils ne fonctionnent pas toujours sur les sites des réseaux sociaux, sont souvent sur un modèle freemium avec des grosses limitations dans la version gratuite et nécessitent de « mettre les mains dans le cambouis » et notamment dans le code des pages que l’on souhaite scraper. À n’utiliser qu’en cas de secours quand d’autres méthodes ne fonctionnent pas.
Les outils d’automatisation
On a ensuite des outils qui se définissent comme des outils d’automatisation (un peu sur le même modèle que Zapier pour créer des règles entre différents services Web).
On trouve des acteurs comme Texau, qui propose plusieurs fonctionnalités d’extraction de commentaires depuis les réseaux sociaux dont LinkedIn ou Captain Data.
Notre avis
Même si ces outils proposent des fonctionnalités très séduisantes, leurs tarifs exorbitants les rendent donc inadaptés lorsqu’il s’agit d’extraire ponctuellement des commentaires depuis les réseaux sociaux.
Les outils de scraping classiques
On compte plusieurs acteurs bien connus sur le marché du scraping Web comme :
Figure 2. Extraction de commentaires LinkedIn avec PhantomBuster
Notre avis
Ces outils fonctionnent bien et proposent souvent des recettes pré-enregistrées pour récupérer des commentaires depuis les réseaux sociaux (c’est le cas d’Apify par exemple). Le fonctionnement est simple et rapide et on récupère facilement les données bien structurées dans un tableau. Seul problème : le prix, car la version gratuite est souvent très limitée ou ne consiste qu’en un essai gratuit de quelques jours.
Lors de nos tests, nous avons eu une préférence pour Apify et Phantombuster qui ont été faciles à prendre en main et ont fourni des résultats très satisfaisants.
Pour aller plus loin sur la question des outils de scraping, on pourra lire ou relire notre article « Economiser du temps grâce aux outils d’extraction de données » (Netsources N° 145 - mars/avril 2020).
Les outils de scraping à base de Python
Il existe une catégorie très intéressante d’outils de scraping qui appartiennent généralement au mouvement open source et qui utilisent le langage informatique Python. Ces outils sont visiblement très performants mais aussi et surtout gratuits. Le seul gros problème est qu’ils nécessitent des connaissances minimales en programmation pour pouvoir les utiliser, ce dont nous ne pouvons nous targuer.
Les nouveaux outils de scraping à base d’IA
Il y a également toute une nouvelle génération d’outils de scraping dopés à l’IA, qui d’après leurs créateurs sont beaucoup plus simples d’utilisation.
Nous avons tout d’abord testé si ChatGPT était en mesure de réaliser ces tâches. Nous avons testé la version gratuite et la version payante (avec les plugins et l’intégration de Bing). À chaque fois, il est impossible pour ChatGPT de se connecter aux réseaux sociaux qui lui en bloquent l’accès.
Il faut donc nécessairement se tourner vers des outils de scraping dédiés. Nous en avons repéré plusieurs :
- Diffbot, Web data without Web scraping;
- Browse AI;
- Scrap.so;
- AI Scraper;
- Bardeen;
- Relevance AI.
Figure 3. Extraction de commentaires YouTube avec Bardeen
Notre avis
La différence avec les outils de scraping n’est pas flagrante. La prise en main n’est pas tellement plus simple et comme avec tous ces nouveaux outils, certains fonctionnent bien et d’autres présentent un certain nombre de bugs. Tous sont payants avec des tarifs variant de 20$/mois à plusieurs centaines de dollars pour d’autres. Au final, il s’agit plus d’outils de scraping parmi d’autres que de véritables outils innovants venant complètement révolutionner le marché du scraping.
Ce qu’il faut retenir
Finalement, extraire gratuitement les commentaires des réseaux sociaux n’est pas une tâche facile et demande de jongler avec plusieurs outils. L’outil le plus simple et le plus efficace est sans nul doute Export Comments mais il ne prend pas en compte LinkedIn et est limité à 100 commentaires par post dans la version gratuite. Au-delà, il faut payer.
Dans les cas où on a besoin d’aller au-delà des limites d’Export Comments, on conseillera d’aller regarder du côté des outils de scraping classiques ou les nouveaux dopés à l’IA. Mais là encore, ils sont payants et il faudra donc réussir à jongler avec les essais gratuits ou les limitations des versions gratuites. Si l’extraction de commentaires devient un besoin régulier dans le cadre de l’exercice de son métier, on conseillera de passer à un abonnement payant pour ne pas perdre trop de temps et d’énergie.