Nous entendons souvent parler de robots.txt, mais c'est quoi ce truc? (Oui, oui je grossi le trait exprès)

Création d'un fichier robots.txt : obligatoire?

Si nous suivons le livre SEO Warrior: Essential Techniques for Increasing Web Visibility par John I Jerkovic, le fichier robots.txt n'est pas oblogatoire sur un site Internet:

Is robots.txt an absolute requirement for every website? In short, no.

C'est là où il a raison et je suis d'accord avec lui lorsqu'il précise que ce fichier est fortement recommandé pour le SEO de votre site. La précision est la suivante:

But the use of robots.txt is highly encouraged, as it can play a vital role in SEO issues.

Nous pouvons même préciser que cela peut aider à régler des soucis et bloquer l'entrée des roots sur certaines pages du site. Nous leur recommandons de ne pas venir, mais il est possible que si un lien est fait sur ces pages, elles soient quand même crawler par les robots des moteurs de recherche.

Pour les plus technique, John Jerkovic propose aussi une "astuce" pour donner les bonne permissions pour la lecture de ce fichier. L'exemple est pris sur un serveur Apache:

chmod 644 robots.txt

Sources: https://books.google.ca/books?id=KzzXzqLzXi8C&pg=PA177&dq=robots.txt&hl=en&sa=X&ved=2ahUKEwjhy76boZjqAhVhkeAKHauqCS0Q6AEwAHoECAAQAg#v=onepage&q=robots.txt&f=false