Lettre ouverte à Maxime de RocketLinks.fr (ou comment sécuriser l’achat/vente de liens)
Cher Maxime de RocketLinks.fr (plateforme d’achat/vente de liens), ce n’est pas la première fois que je t’alerte sur le point qui suit et il faut croire que tu ne mesures pas autant que moi l’ampleur de la menace ! Nan bon OK j’en rajoute, mais ça méritait tout de même bien un petit post pour préciser mes craintes, si si.
Alors voilà, comme tu l’as certainement constaté, les outils de suivi de liens (Ahrefs, Majestic, Open Site Explorer, SEObserver <- le meilleur, clairement, etc.) font légion, et n’importe qui peut donc aisément « griller » ses concurrents acheteurs de liens (ainsi que les vendeurs, au passage).
Ça Maxime, ce n’est bien sûr pas bon pour leurs biz respectifs, mais aussi (implicitement) pour le tien.
Dans les détails, en me plaçant côté acheteurs :
- au mieux : ça ne révèle que le spot mais ne se verra pas exploité ou dénoncé,
- plus chiant maintenant : ça peut amener de la concurrence directe sur ce spot (au passage, je m’permets de divaguer : « N’innovez pas, imitez » c’est ça le SEO en 2015, sérieux ? En fait nous sommes tous, comme nos spots, enfermés dans un bocal ? Coucou Loïc, comment vont tes poules ?)
- et au pire : ça peut engendrer un spam report, voire une dénonciation publique sur WRI ou encore, j’en tremble rien que d’y penser, sur le forum d’aide pour les webmasters de Google.
La solution ? Très simple : inciter tes éditeurs à bloquer Ahrefs, Majestic & co, sur ta plateforme d’abord, mais aussi je l’espère via une belle newsletter destinée à chacun d’entre eux, leur montrant combien il est important d’interdire ces crawlers sur leurs sites afin de protéger leur activité, tout en leur fournissant, par la même occasion, le code nécessaire pour y parvenir.
En voici une version simple, car basée uniquement sur les UA, mais elle fait très bien le job (adeptes des perf, ça va en plus soulager votre serveur) :
# A placer dans votre fichier .htaccess (peu après "RewriteEngine on")
# Reconnaît le crawler en fonction de son UA
# Majestic - https://fr.majestic.com/
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
# Ahrefs - https://ahrefs.com/
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} sitebot [NC,OR]
# Open Site Explorer (OSE) - https://moz.com/researchtools/ose/
RewriteCond %{HTTP_USER_AGENT} rogerbot [NC,OR]
# Bonus
# SEOprofiler - http://www.seoprofiler.com/
# & OpenLinkProfiler - http://openlinkprofiler.org/
RewriteCond %{HTTP_USER_AGENT} spbot [NC,OR]
# Cognitive SEO - http://cognitiveseo.com/
RewriteCond %{HTTP_USER_AGENT} "James BOT" [NC,OR]
# BacklinkTest - http://www.backlinktest.com/
RewriteCond %{HTTP_USER_AGENT} BacklinkCrawler [NC,OR]
# Blekko - https://blekko.com/ (racheté par IBM)
RewriteCond %{HTTP_USER_AGENT} ScoutJet [NC,OR]
# Renvoie une 403 (Forbidden) s'il s'agit de l'un de ces UA
RewriteRule . - [F,L]
# Vous pouvez sinon les rediriger vers n'importe quelle URL
# RewriteRule (.*) http://www.example.com/ [QSA,R=301,L]
En bien + court sinon (via Aymeric) :
RewriteCond %{HTTP_USER_AGENT} (MJ12bot|AhrefsBot|sitebot|rogerbot|spbot|James\ BOT|BacklinkCrawler|ScoutJet) [NC]
RewriteRule . - [F,L]
Alors, plus tard, ce serait super bien pour les acheteurs que tu leur permettes de distinguer, sur ta plateforme, les éditeurs (vendeurs) qui bloquent effectivement ces snifers, via un petit macaron ou que sais-je, qu’ils auront mérité après visite d’un de tes crawlers sur leurs sites (avec l’UA des snifers de liens tu vois). Parce que sérieux, de mon côté, je ne serai jamais acheteur de liens d’un site qui ne bloque pas ces snifers.
Qu’en penses-tu Maxime ? => Es-tu prêt à mettre tout ça en place afin, je te le rappelle, de sécuriser les biz de tes clients (acheteurs), éditeurs (vendeurs) mais aussi le tien par la même occasion ? Et de m’épargner le lancement d’une pétition sur Change.org.
PS (à tous) : L’idée plus globale c’est aussi de rééquilibrer (un peu) la balance. Y’a d’excellents outils qui livrent sur un plateau tous les liens d’un site. N’est-il pas temps de commencer à les b(i)aiser ? Ne m’dites pas que je suis le seul embêté par le fait que n’importe qui puisse voir une bonne partie de mes liens d’un simple clic ?
Commentaires et partages bienvenus, comme toujours !
La réponse de Maxime
Tout d’abord, il est important de noter que le « problème » est le même que les achats soient faits avec RocketLinks, une autre plateforme ou en direct ou même des liens créés sans les acheter.
Ton PS est très important, c’est un problème général qui n’est pas forcément lié à RocketLinks en particulier.Concernant le fait de bloquer les robots des outils d’analyse, c’est assez délicat :
1) Afficher sur la plateforme les éditeurs qui ont intégré ce code constitue clairement un aveu de culpabilité et permettrait de détecter qui sont les blogueurs vendant des liens dofollow et ceux n’en vendant pas. Ceux n’en vendant pas n’auraient aucun intérêt à afficher ce code, cela leur ferait même perdre des potentiels clients annonceurs.
Je tiens à préciser que la proportion des achats nofollow est de plus en plus grande chez RocketLinks, si bien que nous développons actuellement un produit complémentaire pour ces annonceurs et blogueurs.2) Encore sur l’aveu de culpabilité, un lien détecté d’une autre façon que ces outils (via Google Alertes par exemple… – les ancres se faisant de plus en plus sur le nom de marque) serait un gros flag pour le concurrent.
3) Je doute que l’adoption d’un tel système soit élevé, RocketLinks c’est énormément de sites et blogs d’amateurs.
Ceci étant dit, nous allons y réfléchir en détails et avec plus de recul pour intégration lors de la prochaine mise à jour de RocketLinks. Nous pourrions l’ajouter dans la section « Conseils » déjà présente (des conseils personnalisés et envoyés aux éditeurs).
=> Ma réponse (hum, pas super pratique l’intégration dans l’article) :
Déjà, merci pour ta réponse éclaire ! On est OK sur l’intro. Je t’ai destiné cet article simplement car tu représentes la + grosse plateforme FR.
1) Ca c’est une interprétation. Une autre plus sexy est : « Vos liens s(er)ont à l’abri chez moi », un argument qui fera certainement mouche auprès des initiés.
2) L’idée c’est de calmer les ardeurs des « copieurs de liens » (même théma, mêmes spots) et surtout des « spam-reportopathes », la plus grande menace pour les acheteurs & éditeurs. Les plus téméraires ne seront bien sûr qu’affaiblis et non anéantis, mais ce sera déjà ça.
3) Au pire ce sera bon pour votre image, ce sera déjà ça bis 😉 : RocketLinks s’inquiète pour ses annonceurs et éditeurs. Si seuls les + gros/visibles suivent, ce sera déjà top.
Hello Berti je vais te répondre car je pense que cette petite phrase est pour moi avec mon dernier article:
« N’innovez pas, imitez » c’est ça le SEO en 2015, sérieux ? »
Non ce n’est pas QUE ça le SEO en 2015 mais tu le sais aussi bien que moi ça en fait partie. C’est utilisé par tout le monde ou presque et c’est un énorme gain de temps et d’argent qd les moyens n’y sont pas.
Est-ce suffisant ? non pas du tout, à un moment donné il faudra bien faire la différence avec les autres et là les plus malins/courageux… passeront devant avec recherche / création de nouveaux de spots.
Non je n’ai pas honte de dire que je regarde où les concurrents de mes clients posent du BL pour faire de mêm. Pourquoi ? Tout simplement car avec très peu d’efforts tu peux chopper tous les bons BL (ou presque) et ainsi te dégager du temps et du budget pour en trouver d’autres là où personne n’est.
Et oui 1000 fois oui il faut cacher ses liens et certains le font très bien.
Le problème des plateformes, c’est que peu importe elles laisseront tjrs un footprint plus ou moins discret. ça passera jusqu’à ce que Google ait besoin de faire un exemple.
Salut Raph, non non ça ne t’était pas du tout destiné.
C’est un vieux sentiment ça, né avec Yahoo Site Explorer, et amplifié d’abord avec les sorties de Majestic, Ahrefs, puis de SEObserver récemment (d’où le « 2015 »). Ce dernier va encore plus loin dans la facilité de détection des liens, c’est à la fois génial et… flippant ! ^^
Pour le reste, on est OK. Le seul souci c’est que tu n’es pas forcément représentatif. Je n’ai bien sûr aucune stat pour appuyer mes propos mais combien sont ceux qui ne font que caser leurs liens là où leurs meilleurs concurrents le font déjà ? Eux sont une plaie, et je n’ai pas honte de le dire non plus 😉
Plus qu’une lettre ouverte, c’est une mise en garde cruciale pour l’ensemble des utilisateurs de RocketLinks dont je fais partie ! Merci pour le partage de ce script que tout SEO devrait intégrer dans sa stratégie afin d’éviter le SPY agressif !
Des idées pleines de bon sens en effet. Quel intérêt d’acheter des liens quand on sait qu’un jour ou l’autre, ils seront cramés ? Ceux qui vendent des liens sont aujourd’hui trop facilement identifiables.
Hello Mister.
Merci pour cette baffe de rappel puisque je suis entièrement d’accord avec ton analyse.
Par contre, est-ce que par un principe absurde, Google ne pourrait pas se dire que si un site bloque ces snifers, c’est qu’il a quelque chose à se reprocher à l’instar des whois masqué ?
Suite enquête poussée d’un Quality Rater calé sur le sujet, pourquoi pas écoute.
Mais je ne pense vraiment pas que celles-ci soient fréquentes.
J’ai peine à croire que les services comme majestic, ahrefs etc ne réagissent pas à une volonté (certes compréhensible) de vouloir biaiser l’objectivité de leurs datas, même si en proportion cela ne représente pas grand chose. Un simple changement d’UA, et pffft le problème est fixé. Pour bien faire, il faudrait carrément faire un reverse sur les IP des snifers, mais là ça devient carrément utopique pour la mise en place.
C’est effectivement envisageable qu’un jour ils se révèlent moins facilement détectables.
En attendant ils opèrent toujours avec les mêmes UA, ce serait dommage de ne pas en profiter tant que c’est si simple !-)
Intéressant comme idée, et ça ferai mal à certains qui ont tendance à copier les mêmes spots que les concurrents, pas fin d’avoir les même liens au final…
En faite tu veux plus qu’aucun lien puisse être suivi alors ?
Sur quelle ligne du fichier tu bloques SEObserver ?
En fait mon idéal c’est que les liens que font les éditeurs ne soient pas retrouvables. La solution la plus simple c’est de bloquer toute trace de ces liens sur les outils cités.
Concernant SEObserver, si j’me trompe pas, il ne crawle pas mais agrège, il n’y a donc rien à faire le concernant.
Comment on fait pour jauger le profil d’un site avant de poser un lien dessus, si on n’a plus accès à ces outils ?
Aucun souci, le code bloque la visibilité des liens que font les éditeurs, et non de ceux qu’ils reçoivent.
Oh, un autre pink hat, quel plaisir de voir que cela se popularise enfin !
Hi l’ami Berti,
Selon moi ta recommandation est un pansement sur une jambe de bois, car toute plate-forme comme RocketLinks est vouée à se faire shooter par Google tôt ou tard.
Dans certains domaines on dit quand le poisson est trop lourd, les pêcheurs lâchent leur filet. Ca marche pas pour les vendeurs de liens, Google l’a prouvé à maintes reprises…
Bah RocketLinks est tranquille depuis presque 3 ans, c’est pas rien, surtout à notre échelle. Et sinon ça marche toujours.
Quand on est à sa tête, ou quand on en dépend, je trouve que ça mérite bien une petite rustine pour espérer prolonger cette durée de vie.
Mais sinon, oui, sur le papier, Google est le plus fort.
Merci pour la citation 🙂
Salut,
@Nico : avec la technique de Berti, google ne peut pas se rendre compte que l’on bloque ces sniffers sauf si :
– il « simule » un de ces users agent
– il utilise lui même un de ces outils de suivi de liens
Mais bon il faut arrêter la parano. Même si google se rend compte de cela (ce qui m’étonnerait beaucoup xD) je ne vois pas en quoi ça le dérangerait du moment que googlebot peut crawler tranquillou :-).
Disons que la parano est quand même liée aux différentes plateformes pénalisées. Il y a un historique derrière et une volonté clairement affichée de la part de Google.
Ce n’est pas juste de la parano pour moi mais de la prévention ! 😉
Et compte tenu de ce qu’est capable de faire Google, je ne veux pas prendre le risque de mon côté.
Il n’y a pas si longtemps, on s’interrogeait sur la pertinence du CTR des liens au sein d’un site. Aujourd’hui, on sait que c’est un vrai facteur à prendre en compte.
Bref, ce qui nous semblait impossible hier devient souvent réalité. Qu’en dis-tu ?
C’est stratégique, presque philosophique ^^ Exploiter tout ce qui marche tant que ça marche (miser sur le court terme), ou alors être très prudent, et probablement gagner moins, mais plus longtemps. Je suis bien incapable de te dire quelle option il faut privilégier 😉
Je pense que google adorerait que tout le monde cache ses liens à ces outils se faisant de l’argent grâce à l’existence de google et de l’importance qu’il accorde aux liens (à cause des limites de son algo). Çà diminuerait le nombre de spams et de liens non naturels donc exactement ce que veut google.
Après autant pour les CTR, il était évident que se soit pris en compte par google car le raisonnement est sans ambigüité (un lien cliqué est forcément plus intéressant/utile à l’internaute qu’un lien non cliqué) mais dans ce cas là… On peut bloquer ces sniffers pour de bonnes raisons n’ayant rien à voir (ou presque) avec le SEO comme : ne pas pourrir la bande passante de son serveur avec les requêtes de ces bots par exemple.
A noter : on est en cours de réflexion pour que SEObserver crawle, avec multi-IP (jetables), multi UA, avec/sans JS, tous les sites qui rankent sur notre base pour en extraire les BL.
Ce sera les clients qui décideront au final, mais si vraiment on veut voir ce que les sites ont dans le ventre, de base, c’est easy.
Donc bon, bloquer c’est effectivement un pansement sur une jambe de bois.
Celui qui ne veut apparaître sur aucun radar, son seul choix est de cloaker son réseau pour Google only.
Woola, je m’inquiète pour toi au sujet de la rentabilité et du délai nécessaire pour que t’aies une copie du web, ou ne serait-ce qu’une base d’un volume similaire à celles d’Ahrefs ou Majestic.
Non, les 2 lignes de code qui bloquent (actuellement) les plus gros acteurs, je ne qualifie pas ça d’inefficace ou inutile.
Je me permets d’ajouter un détail qui n’a pas été abordé :
Le coup de la black list dans le htaccess déjà difficilement applicable, ne vaut que si elle est exhaustive ! Tiens, t’as pas mis le service webmeup.com ! Bim…
Bah non j’trouve pas Aurélien. En bloquant ne serait-ce que 80% d’entre eux, tu bloques donc une grande partie du « marché », et ça « aveugle » donc les moins téméraires/initiés, c’est déjà bien non ? (rolala, j’ai abusé de cette expression)
Mais OK, j’en ajouterai au fil du temps.
Pour revenir sur ce que tu disais tout à l’heure, on peut imaginer une API à la SpamHaus à l’avenir, pour s’adapter à d’éventuels évolutions + contraignantes (blocage par plage d’IP).
Franchement si les éditeurs écrivaient des articles qui ne sentent pas l’article sponso à 10kms et que certains annonceurs levaient un peu pied au niveau des fréquences de publications (j’ai suivi certains sites, les mecs se font plaisir quand même : on passe de rien à tout en qqes semaines), ça reste intraçable comme de la négociation « à l’ancienne ». Non?
Je lis toutes les réponses et questions mais un problème semble avoir été mis de côté. L’aspect légal de l’article sponso et/ou achat de lien. Vous avez l’obligation légale de signaler à vos lecteurs que c’est un article ou lien sponsorisé sans quoi c’est « assimilé à une pratique commerciale trompeuse »
L’info vient directement de l’ex DGCCRF.
ça peut faire sourire jusqu’à ce qu’il décide vraiment de faire la chasse et via la délation ils auront pas à bcp chercher ^^
Je n’ai pas abordé ce point car la vente de liens n’est pas le sujet premier de cet article Raph 😉 Mais oui, c’est bien une autre menace qui pèse sur les vendeurs de BL.
PS (suite à ton premier commentaire) : Je viens de me souvenir ce qui a précisément déclenché la rédaction de ce billet => voir un exemple de rapport de la nouvelle fonction TL de SEObserver (où j’ai retrouvé un acheteur de liens). A la fois génial et flippant, comme je te le disais.
C’est une très bonne idée, j’utilise bêtement le robots.txt sur un certain nombre de mes domaines en mixant avec d’autre crawlers pour noyer un peu le poisson. Le seul inconvénient et qu’il faut mixer ses sources et les outils de monitoring pour avoir une vision claire, sans oublier le fichier de désaveu quand il a été utilisé…
Hello,
Merci pour la mention 😉 Sinon plutôt qu’une blacklist, pourquoi pas une withelist (condition inversée) avec les User-Agent les plus courants ? (firefox, chrome, safari, opera & co + bingbot, Yslurp, Googlebot & co)
Un petit article sur le sujet : http://incredibill.blogspot.de/2011/11/bot-blacklisting-vs-whitelisting-are.html
Parce que ça me paraît bien plus facile d’identifier une minorité plutôt que le reste du monde !-)
Merci pour le code htaccess, ça me permet de varier les fichiers pour diluer un tant soit peu le footprint.