Ein Suchmaschinencrawler reduziert Ihre Inhaltsseite auf die Texte und die Strukturierung durch die Standard-HTML-Elemente. Aktive Inhalte wie Java-Applets oder Javascript werden dabei aus der Ansicht der Seite entfernt und nicht ausgeführt. Die reduzierte Seite nutzt der Crawler um die Inhalte und vor allem auch die Links auf andere Seiten zu erkennen.
Ein Suchmaschinencrawler erkennt nur die bereits vorhandenen <a href="...">-Links. Sind die Links in Javascript-Blöcken verborgen, werden sie ignoriert. Eine Javascript-Navigation ist für den Crawler schlicht nicht vorhanden. Sie müssen in so einem Fall dafür sorgen, daß eine alternative Navigation für den Crawler vorhanden ist.
Der alte Trick eine "unsichtbare" Navigation in der Seite unterzubringen kann sich als Knieschuß erweisen: Google erkennt mittlerweile fast alle Bereiche die mit CSS, Schrift=Hintergrund oder Font-Größe 1px ausgeblendet werden und wertet verborgene Links und Inhalte negativ. Nachdem zunächst nur die amerikanischen Publisher diese Regel zu spüren bekamen, wendet Google die Technik seit Mitte 2006 auch auf anderssprachige Websites an.
Eine Weiche für Crawler und Mensch oder zwischen Robot und Browser nennt man Cloaking. Der Suchmaschinenrobot bekommt andere HTML-Seiten gezeigt als ein Browser. Erfolgreich realisiert wird dies meist über eine .htaccess-Datei des Webservers. Wird ein Robot erkannt, bekommt er vom Webserver eine andere URL untergeschoben, nach außen sind die URLs für Robot und Browser gleich.
Die Technik hat zwei Nachteile: 1. muß der Inhalt auch doppelt vorhanden sein und 2. benötigt man die Kontrolle über die .htaccess-Datei des Servers. Redirects funktionieren auch mit HTML-Meta oder mit Javascript, aber die sind eigentlich nicht zu empfehlen.
Wird der Redirect über Javascript oder Meta gemacht, ist er zu leicht zu entdecken. Das Verhalten kann sogar zum Ausschluß aus dem Google-Index führen wie bei BMW: Mittels Javascript wurden alle Javascript-fähigen Besucher auf eine multimediale Seite geleitet, der Suchrobot bekam Text-Futter. Der Ausschluß wurde nach wenigen Tagen rückgängig gemacht und brachte sowohl Google als auch BMW eine Menge Publicity. BMW wird es nicht geschmerzt haben, denn deren Traffic kommt nur zu einem kleinen Teil über Suchmaschinen. Andere Auto-Seiten (Anzeigenportale) haben die Wiederaufnahme dagegen erstmal nicht geschafft.
Mit CSS lassen sich weitgehend ähnliche Effekte erzielen wie mit Javascript: Rollover, eingerückte Untermenues, Pulldown, Popup, .... Die darunterliegende HTML kann jedoch aus Standard-Links bestehen, die für den Crawler lesbar sind. In meinem eigenen Contentmanager CMS1 lite verwende ich Unordered Lists (<ul><li>) um die Linklisten der Navigation sauber zu strukturieren. Die Navigation wird bei mir jeweils anhand der Position der Seite neu berechnet und als statische Links ausgegeben.
Meine "perfekte" Navigation betont einzelne Seiten und ermöglich die Gewichtung einer Seite der Website. Wichtige Seiten werden stärker verlinkt als der "Long Tail" und für den Benutzer und die Suchmaschine hervorgehoben. Durch thematisch zusammengehörenden Seiten werden die Links nicht wahllos außerhalb des Themas verstreut sondern betonen zusätzlich den spezifischen Inhalt und die Schlüsselwörter einer Seitengruppe. Links aus thematisch verwandten Inhaltsseiten sind wertvoller als unzusammenhängende Inhalte.
Wird diese Technik perfekt angewandt, erhalten die zentralen Seiten Links von allen untergeordneten Seiten und werden für die Suchmaschine hervorgehoben. Denkt man sich die Linkliste als Stammbaum enthält die Linkliste der Navigation Links zu allen direkten Vorfahren und deren Geschwistern und zu den eigenen Kindern. Der Benutzer sieht nur die Seiten die zum Bereich gehören den er gerade betreten hat. Die Navigation bleibt für den Besucher übersichtlich, trotzdem werden alle Seiten der Präsenz mindestens von Ihren Geschwistern und Eltern verlinkt.
Alternativ könnte man auch die komplette Navigation der Website einblenden, doch dann fehlt die Betonung der übergeordneten Seiten: Alle Seiten bekommen gleich viele Links und Backlinks und bei großen Sites wird die Navigation schnell unübersichtlich. Auch die Google Sitemap kann eine vernünftige Verlinkung nicht ersetzen: Es können zwar alle Seiten von der Suchmaschine gefunden werden, aber für eine Gewichtung der Einzelseiten reicht die Sitemap nicht aus.