Une récente enquête a révélé que les moteurs de recherche alternatifs ne peuvent plus afficher les résultats de Reddit. Cette situation survient peu de temps après que Google et la plateforme sociale aient signé un accord de grande envergure. Désormais, Microsoft a confirmé que Bing est effectivement bloqué par Reddit.
« Nous respectons la norme robots.txt. Bing a cessé de crawler Reddit après qu’ils ont mis à jour leur fichier robots.txt le 1er juillet, interdisant tout crawling de leur site », a déclaré un représentant de Microsoft à Search Engine Land.
Le protocole robots.txt permet aux sites Web de configurer quelles pages un Web crawler (par exemple, celui d’un moteur de recherche) peut ou ne peut pas accéder. Ces modifications ne sont pas contraignantes et fonctionnent sur un système d’honneur. Si un site Web met à jour son fichier robots.txt pour demander que certains Web crawlers et moteurs de recherche ne puissent pas y accéder, rien n’empêche techniquement ces crawlers d’ignorer cette demande.
Microsoft a accepté la demande de Reddit dans ce cas, mais il est récemment apparu qu’un crawler associé au moteur de recherche Perplexity AI a ignoré les demandes d’un éditeur.
La monétisation de Reddit à l’ère de l’IA
La demande de Reddit intervient un peu plus d’un mois après que la société a confirmé pour la première fois ses plans de mise à jour de son fichier robots.txt. Elle a cité une « augmentation des entités manifestement commerciales qui scrappent Reddit ». Ce changement est également survenu après la signature d’un accord plus tôt cette année qui permettra également à Google d’utiliser le contenu généré par les utilisateurs de la plateforme pour entraîner ses IA.
Dans une déclaration à The Verge, un représentant de Reddit a nié que la décision de bloquer les moteurs de recherche alternatifs soit liée à l’accord avec Google : « Ce n’est en aucun cas lié à notre partenariat récent avec Google. Nous avons eu des discussions avec plusieurs moteurs de recherche. Nous n’avons pas pu conclure d’accords avec tous, certains étant incapables ou réticents à faire des promesses exécutoires concernant leur utilisation du contenu Reddit, y compris son utilisation pour l’IA ».
Cependant, on peut se demander si Reddit aurait bloqué tous les moteurs de recherche en premier lieu s’il n’avait pas conclu d’accord avec Google. Cet accord a également suscité des préoccupations concernant les pratiques monopolistiques de Google, car être le seul hébergeur des résultats de recherche Reddit constitue un avantage concurrentiel majeur.
Un blocage de Bing et des autres
Le blocage par Reddit des moteurs de recherche alternatifs soulève des questions importantes sur la gestion et la monétisation des contenus en ligne. Tandis que Reddit cherche à protéger ses données des scrappers commerciaux, l’accord exclusif avec Google pourrait potentiellement limiter l’accès et renforcer la domination de Google dans le domaine des recherches en ligne. La communauté et les utilisateurs resteront attentifs aux développements futurs et à l’impact de ces décisions sur l’accès à l’information.
