Video: Unterseiten bei Suchmaschinen ausschließen - robots.txt 2024
Sie können Meta-Robots-Tags verwenden, um zu verhindern, dass ein Suchmaschinen-Spider bestimmte Seiten Ihrer Website crawlt. Sie können ein spezielles Tag in den HTML-Code der Seite einfügen, um Robots anzuweisen, diese Seite nicht zu indizieren oder den Links auf dieser Seite nicht zu folgen. Sie würden dieses Tag nach den anderen Meta -Tags, platzieren, die Teil des HTML-Codes sind, der sich im Kopfbereich einer Webseite befindet.
Die Verwendung von Meta-Robots-Tags ist aus zwei Gründen weniger effizient als die Verwendung einer Site-weiten Robots-Textdatei. Erstens ignorieren Robots manchmal Meta-Robots-Tags, und zweitens verlangsamen diese Tags die Robots, die Ihre Seiten lesen, was die Anzahl der Seiten, die sie crawlen möchten, verringern kann. Außerdem kann diese Methode Ihrem Webmaster Kopfzerbrechen bereiten, da die Tags auf den einzelnen Seiten und nicht in einer zentralen Datei verwaltet werden müssen.
Das untenstehende Meta-Roboter-Tag weist den Suchmaschinen-Roboter an, die Seite und nicht zu indizieren, um keinem der Links auf der Seite zu folgen:
Sie könnten dieses Tag verwenden um dem Roboter mitzuteilen, den Inhalt der Seite zu lesen und zu indizieren, aber keinem der Links zu folgen:
Das nächste Tag weist den Roboter an, den Inhalt der Seite zu ignorieren, aber folgen Sie den Links: