<meta name='robots' content='noindex,nofollow'/>Der gesamte Seitenkopf könnte bsp. wie folgt aussehen:
<html> <head> <meta name='robots' content='noindex,nofollow'/> <title>Titel dieser Seite</title> </head> <body> Seitencode </body> </html>Dies überschreibt die Standardeinstellungen
<meta name='robots' content='index,follow'/>
noindex
bedeutet, daß die Datei nicht indiziert wird, nofollow
stellt sicher, daß die
ausgehenden Links nicht weiterverfolgt werden. Es können auch die Kombinationen 'noindex,follow' bzw. 'index,nofollow'
gewählt werden. Fehlt ein Eintrag, so wird 'index' bzw. 'follow' verwendet.
User-agent: * Allow: / Disallow: /admin/ Disallow: /confirm/ Disallow: /temp/ Disallow: /internal/ Disallow: /tables/ Disallow: /views/ Disallow: /queries/Die erste Anweisung legt fest, daß sämtliche Suchmaschinen einheitlich behandelt werden. Die zweite Anweisung ('Allow') gehört zwar nicht zum robots-Standard von 1994. Sie wurde jedoch schon vor langer Zeit von google eingeführt und gestattet das Indizieren des Wurzelverzeichnisses. Anschließend werden die beiden Standard-Unterverzeichnisse /admin/ für den Aufruf der internen Masken sowie /confirm/ für die Schlüsselbestätigung gesperrt. Das /temp/ - Verzeichnis wird genutzt, um den Aufruf für die Vorschau von Ausgabeseiten vom gewöhnlichen Aufruf zu unterscheiden. Dieses Verzeichnis darf nicht für Ausgabeseiten genutzt werden. Denn bei einem solchen Aufruf wird nur geprüft, ob die Seite im aktuellen Cache gefunden werden kann. Ansonsten wird eine leere Seite ausgegeben. Das Verzeichnis /internal/ steht für benutzerdefinierte Seiten zur Verfügung, um diese gegen das Indizieren durch Suchmaschinen zu sperren. Die drei letzten Verzeichnisse dienen dazu, die Xml-Ausgaben bereitzustellen.
Sie können folglich eine Ausgabeseite vor dem Indizieren schützen, indem Sie diese in der Form
internal/name-der-gesperrten-Seite.htmlanlegen. Ebenso können, durch entsprechende Benennung der Ausgabeseiten, weitere Unterordner erstellt werden, deren Inhalt ebenfalls für Suchmaschinen gesperrt ist.
Beachten Sie, daß der Ausschluß von Dateien nicht bedeutet, daß die Url von Suchmaschinen nicht angezeigt wird. Der robots-Standard fordert lediglich die Nicht-Indizierung dieser Seiten. Eine Suche bei google nach
www.server-daten.de/admin/liefert deshalb die Url ohne Beschreibung.
Ferner ist der Aufruf über die IP blockiert und liefert einen Http-Status 410 zurück. Dies verhindert gewöhnlich, daß solche Seiten jemals von einer Suchmaschine indiziert werden.
http://datenbank-name.server-daten.de/ausgabeseite.htmlerfolgen. Jedes anschließend ausgeführte Sortieren wird über Links bereitgestellt, welche Url-Überschreibungen nutzen. Es kann bsp. ein folgender Link erscheinen (der Umbruch wurde nur aus Darstellungsgründen eingefügt):
http://datenbank-name.server-daten.de/ ausgabeseite.html/rs-ausgabe/table/Artikel/so/2/sc/A_NameHier wird die Tabelle 'Artikel' ausgegeben und nach der Spalte (sc = SortColumn) A_Name absteigend (so = sort order) sortiert. Bei solchen neuen Ausgaben werden nur die Ergebniszeilen geändert, der Rest der Seite bleibt unverändert. Bietet eine Subdomain viele solcher 'sehr ähnlicher' Seiten an, so kann dies bei Suchmaschinen zur Abwertung führen, da die Seiteninhalte größtenteils übereinstimmen und sich nur die Sortierung ändert. Zur Reduzierung dieses Problems werden deshalb alle Seiten, deren Aufrufpfad Url-Überschreibungen oder Ausdrücke mit '?' enthalten, mit 'noindex,nofollow' ausgegeben. Ersteres verhindert das Erzeugen von solchem 'duplicate content'. Zweiteres stellt sicher, daß höchstens eine weitere Linkebene aufgerufen wird, so daß nicht zu viele, ohnehin nicht zu indizierende Seitenaufrufe erfolgen.
Aus demselben Grund der Vermeidung sinnloser Vielfach-Indizierungen werden die Startseiten für jede Subdomain, welche zunächst beim Aufruf von
http://datenbank-name.server-daten.deerscheinen, mit 'noindex,nofollow' ausgegeben. Erstellen Nutzer eine Ausgabeseite namens 'index.html' mit eigenständigem Inhalt, so gilt hier 'index,follow'.
<img src='http://www.ihre-firma.de/sd-images/firmengebaeude.jpg' alt='Hauptgebäude der Firma ihre-firma'/>
Falls Kunden des hiesigen Systems Dienstleister beauftragen, ihre Seiten mit dem Ziel besserer Platzierungen zu optimieren, so weist server-daten auf Richtlinien hin, wie sie bsp. in den google-Guidelines zu finden sind. Von Dienstleistern, die versteckte Links auf eigene Angebote in die Ausgabeseiten einfügen oder vom Kunden erwarten, solche Links zu setzen, muß abgeraten werden. Der Kunde läuft Gefahr, daß seine Subdomain von den Suchmaschinen ausgeschlossen wird. Da allerdings alle Subdomains voneinander isoliert und nicht miteinander verlinkt sind, bleiben die Ausgabeseiten anderer Kunden hiervon unberührt.