Indexation parallèle pour les sites webs vastes

24. septembre 2015

Indexer un grand nombre de sites Internet peut parfois prendre des heures voire même des jours. Pour vous fournir de meilleurs résultats, l’Optimiseur permet à plusieurs moteurs de recherche de travailler sur le projet en même temps. Dans les paramètres de moteur de recherche (Paramètres > Moteur de recherche), sélectionnez le nombre de moteurs de recherche à utiliser en parallèle pour chaque projet à partir de la liste déroulante.

optimizer_crawler-setting

Il est possible de sélectionner de un jusqu’à dix moteurs de recherches parallèles pour un projet, où la valeur par défaut est de deux moteurs.

optimizer_concurrent-crawlers
Comme notre moteur va toujours attendre que la page actuelle soit traitée avant de commencer la suivante, une augmentation à quatre moteurs nous permet de traiter deux fois plus de pages dans le même temps. Cependant, dans ce cas, le serveur va également être deux fois plus chargé.