Les pages de chaque site sont régulièrement explorées par des robots de recherche, qui traitent les informations présentes sur le site afin qu'elles soient disponibles à la demande des utilisateurs dans les moteurs de recherche. Les visites des visiteurs des moteurs de recherche ont un effet positif sur le trafic du site et stimulent le développement de la ressource. Mais, s'il existe des pages sur le site dont les informations ne sont pas destinées au public Internet (par exemple, les pages personnelles des utilisateurs ou la page d'inscription), alors la transition des moteurs de recherche vers ces pages n'est pas nécessaire et il vaut mieux interdire l'indexation de ces informations.
Nécessaire
- - avoir votre propre site web
- - de connaître les liens vers les pages dont l'indexation devrait être interdite.
- - avoir au moins des connaissances de base en HTML
Instructions
Étape 1
Afin d'empêcher le robot de recherche d'indexer certaines pages du site, vous devez apporter des modifications au fichier robots.txt, s'il se trouve déjà sur votre site, ou créer ce fichier.
Étape 2
Si le fichier robots.txt est déjà téléchargé sur le site et qu'il est possible de modifier ce fichier directement à partir du panneau de configuration des ressources, ouvrez robots.txt via le service Web pour le modifier.
Étape 3
S'il n'y a aucun moyen d'apporter des modifications au fichier souhaité directement à partir du panneau de configuration, ouvrez robots.txt dans un navigateur en cliquant sur le lien vers ce fichier. Copiez toutes les données de la page qui s'ouvre et collez-les sur la feuille dans le Bloc-notes.
Étape 4
S'il n'y a pas de robots.txt sur le site, ouvrez le programme "Notepad", dans le nouveau document duquel vous devrez entrer le code nécessaire.
Étape 5
Sur une feuille de document texte vierge, écrivez la première ligne requise:
Agent utilisateur: *
Étape 6
Passez ensuite à la ligne suivante en appuyant sur la touche Entrée et saisissez le code suivant:
Disallow: /index/page3Disallow: indique aucune indexation, et /index/page3 est un lien vers une page qui n'a pas besoin d'être indexée. Au lieu du lien/index/page3, insérez un lien vers la page de votre site que vous souhaitez bloquer pour traitement par les robots.
Étape 7
Notez que le nom de domaine lui-même est manquant au début du lien; sa présence dans l'entrée implique la barre oblique. Lors de l'exploration d'un site, un robot de recherche insère automatiquement un nom de domaine dans ces liens. Par conséquent, écrivez des liens vers les pages nécessaires de cette manière.
Étape 8
After Disallow: vous pouvez placer non seulement un lien vers une page spécifique, mais également un lien vers n'importe quelle section ou répertoire du site. De même, vous pouvez interdire l'indexation de la partie souhaitée du site.
Étape 9
S'il est nécessaire d'interdire le traitement par des robots de plusieurs sections différentes de la ressource, écrivez un lien vers chaque section ou page sur une nouvelle ligne, au début de laquelle n'oubliez pas de mettre l'entrée Disallow:.
Étape 10
Pour terminer la modification du fichier robots.txt, cliquez sur le bouton « Enregistrer » lors de la modification du fichier dans le panneau de configuration, ou enregistrez un document texte avec des entrées sous le nom robots.txt et téléchargez ce fichier sur le site.
