SEOPT Wiki › R

Robots.txt

Die robots.txt ist eine Textdatei, in der festgelegt wird, welche Verzeichnisse einer Webseite von den Crawlern einer Suchmaschine gelesen werden dürfen und welche nicht. Dabei ist es möglich, einzelne Dateien, ein ganzes Verzeichnis oder die gesamte Domain vom Crawling auszuschließen. Beim Aufruf der Webseite steuert der Crawler die robots.txt zuerst […]

Mehr erfahren

Abonnieren Sie unseren kostenlosen E-Mail Newsletter ANMELDEN