CrawlTrack, le script open-source et gratuit de détection des robots.

Ce
script est utilisé par des webmasters du monde entier. Il leur permet
de suivre en temps réel l’activité des robots de moteurs de recherches
sur leur site. Si comme eux vous voulez savoir par quels moteurs votre
site est visité, installez CrawlTrack, ce site est là pour vous donnez
toutes les informations nécessaires.

Qu’est-ce qu’un robot?

Selon Wikipédia:
« Un robot d’indexation (ou araignée ; en anglais web crawler ou web spider) est un logiciel qui explore automatiquement le web. Il est généralement conçu pour collecter les ressources (pages Web, images, vidéo, documents Word ou PDF ou PostScript, etc.) indexées par un moteur de recherche. »

Les visites de robots représentent plus de 50% des pages vues sur www.Crawltrack.fr; certains sont utiles d’autres beaucoup moins voir dangereux.

Qu’est-ce que CrawlTrack? CrawlTrack est une application libre (license GNU GPL), qui permet de suivre les passages des robots des moteurs de recherche sur son site internet. Les données sont présentées sous forme de tableau et de graphiques qui permettent un très bonne lisibilité des informations. CrawlTrack est écrit en php et utilise une base de donnée MySQL. CrawlTrack existe pour l’instant en français, espagnol, allemand et anglais, les traducteurs sont les bienvenues.

Pourquoi CrawlTrack?

-CrawlTrack
est le seul script de détection de robots à avoir une base de données de plus de 1000 robots de moteurs de recherches, mise à jour une fois par semaine par un simple clic.

-CrawlTrack permet le suivi multi-sites (même hébergés sur des serveurs différents) avec une seule installation.

-CrawlTrack
permet une gestion avançée des droits des utilisateurs, idéal pour un hébergeur qui veux donner l’accès aux statistiques à ces clients.

-Le moteur de recherche de Crawltrack permet de multiples interrogations de la base de données statistiques.

-La gestion des données est optimisée, la taille de la base de données est réduite.

Comment faire fonctionner CrawlTrack?

Vous n’avez besoin d’aucune compétences techniques particulières, il suffit d’avoir un hébergement avec php (version >=4.3.0 avec GD2) et une base MySQL. L’installation est complêtement automatisée.

Pour plus d’informations, allez voir la documentation et cas de problème le forum est là pour poser vos question.

Quels sont les robots détectés par CrawlTrack?

AbachoBot, ABCdatos, Acoon Robot, Aesop, Aibot, Alexa, Altavista, Amfibibot, Amidalla, Antibot, ArchitextSpider, Ask  Jeeves/Teoma, Baiduspider, Blitzsuche, Blogbot, Boitho, Bruinbot, CipinetBot, Clushbot, Cobion, Cortina, DataFountains, Drecombot,Earthcom, Elsop, EuripBot, Exabot, FAST-WebCrawler, GenieKnows, GeonaBot, Goblin, Google-Adsense,
Googlebot, Google-Image, Google-WAP, Heritrix, InelaBot, Jayde Crawler, LinkWalker, Lockstep Spider, Lycos_Spider, Mariner, Mercator, MSN Bot, Najdi, NaverBot, NokodoBot, OpidooBot, OpenWebSpider, Polybot, Pompos, Psbot, QuepasaCreep, Scrubby, Seekbot, Slurp Inktomi (Yahoo), Teoma, Toutatis, TygoBot, VoilaBot, WiseGuys, Zao Crawler, ZyBorg (LookSmart), etc…

Ce n’est qu’un petit échantillon de ce que Crawltrack peu détecter; et cette liste est mise à jour régulièrement.