Gelöschte Seiten melden

Wieviele Seiten Ihrer Website unser Crawler täglich aktualisiert, hängt von der maximalen Anzahl der Seiten ab, welche Sie definiert haben:

Tägliches Crawler-Limit = Maximale Anzahl der Seiten * 500 / 10.000

Der kleinstmögliche Wert für die Maximale Anzahl der Seiten ist 10.000. Das ergibt ein tägliches Crawler-Limit von 500 Seiten.

Ab einer Größe von 500 Seiten kann unser Crawler also ggf. nicht mehr alle Seiten Ihrer Website täglich abfragen. Je nach Größe der Website kann es dann bis zu 20 Tage dauern, bis jede URL erneut gecrawlt wurde.

Damit Seiten, welche von Ihrer Website entfernt wurden, trotzdem möglichst schnell aus unserem Suchindex verschwinden, stellen wir eine Schnittstelle bereit, über die Sie nicht mehr gültige URLs automatisiert bei uns melden können. Am besten geschieht dies immer wenn Ihr Webserver eine Anfrage für eine nicht mehr gültige URL erhält.

Alternativ können Sie ungültige URLs im Verwaltungs-Interface manuell löschen.

Die URL der Schnittstelle ist

https://sitesearch.netestate.de/404

Folgende Formular-Parameter sind notwendig:

a: Benutzername
p: Passwort
u: URL. Die Verwendung von '*' als Wildcard/Jokerzeichen ist möglich.