Par défaut, notre crawler de l’Optimizer va utiliser le navigateur suivant quand il effectuera le crawling de votre page d’accueil :
Mozilla/5.0 (compatible; Optimizer)
Dans les paramètres du projet, vous pouvez personnaliser le navigateur selon vos désirs et vos besoins. Lors du prochain crawling, nous utiliserons le nouveau navigateur que vous avez fourni.
L’activité de l’Optimizer crawler s’effectue toujours via une adresse IP dont la résolution inverse DNS se traduit par *.crawler.sistrix.net – de telle sorte que vous pouvez vous assurer que c’est vraiment nous qui faisons le crawling de votre domaine et que personne n’utilise à tort notre navigateur.
