An verschiedener Stelle habe ich bereits über Sitemap-Dateien geschrieben, über die diverse Suchmaschinen wie Google, Live.com, Yahoo und seit neuestem auch ask.com, bezüglich der eigenen Web-Site auf dem Laufenden gehalten werden können.

Wie man die Struktur auch einer dynamischen Web-Site in einer Sitemap-XML abbildet, habe ich z.B. im Artikel Pagemap - Beschreibung einer Datenbank-gesteuerten Web-Site in XML beschrieben. Einziges Problem war bislang, die Dinger bei den beteiligten Suchmaschinen einzureichen. Bei Google und Yahoo gibt es jeweils eine entsprechende Seite. Live.com hat allerdings bislang darauf verzichtet, obwohl es den neuen Standard ebenfalls unterstützt.

Auf sitemap.org, der gemeinsamen Projektseite, wird nun ein weiterer Weg offeriert, der einen manuellen Eingriff unnötig macht: die Deklaration der Sitemap in der robots.txt (siehe http://www.sitemaps.org/de/protocol.html#informing).

Mit der simplen Anweisung Sitemap: http://meinweb/sitemap.xml in der robots.txt, holen sich die Suchmaschinen die Datei selbst ab, was eine ungemeine Erleichterung darstellt.

Google, Yahoo und auch Microsoft bieten Webmastern die Möglichkeit die einzelnen URLs ihrer Web-Site der Suchmaschine zu melden, damit die Indizierung schneller vonstatten gehen kann. Diese sog. Sitemaps sind jedoch recht flach und müssen bei jeder Änderung gepflegt werden.

Dynamische Web-Sites, wie Blogs, in denen die Beiträge aus einer Datenbank gezogen werden, haben was diese Aktualisierung betrifft, wirklich ein Problem, denn wer viel schreibt, muss auch viel pflegen.

Es geht jedoch auch anders. Mit Pagemaps, einer Beschreibung von dynamischen Web-Sites in XML?