Robozilla
Robozilla, auch Rob O'Zilla, ist der Webcrawler des DMOZ (Open Directory Project). Er wird von Zeit zu Zeit von Hand gestartet, um zu überprüfen, ob die Einträge im Verzeichnis noch funktionieren. Defekte Einträge werden mit einem Fehlercode versehen und bis zur Prüfung durch einen Editor aus dem öffentlich sichtbaren Verzeichnis entfernt.
Robozilla prüft jeden Eintrag mehrfach. Die einzelnen Durchläufe liegen jeweils mehrere Tage bis Wochen auseinander, um kurzzeitige Serverprobleme auszuschließen.
| HTTP User-Agent | Robozilla/1.0 |
