Bots in robots.txt ausgeschlossen

[knallfrosch]

Hallo Zusammen,

in der robots.txt Datei eines Kunden sind drei Bots ausgeschlossen:

User-agent: psbot
Disallow: /
User-agent: NPBot
Disallow: /
User-agent: NPBot-1/2.0
Disallow: /

Kann mir jemand sagen, wie ich herausfinden kann, um was für Bots es sich hier handelt?

Danke und beste Grüße!

[seo-forum-admin]

Hallo,

also Bots gibt es ja im Web tausende.

Wie ich gesehen habe, gibt es einige Robots-Datenbanken im Netz.

Zum PS-Bot habe ich z.B. das hier gefunden:

https://www.robotstxt.org/db/psbot.html

Zu den anderen finde ich leider gar keine Infos.

Ich habe auch mal ChatGPT gefragt, ob es was weiß. Die Antwort von ChatGPT (die allerdings wahrscheinlich auch nicht wirklich weiter hilft):

"Hier sind einige mögliche Erklärungen:

Unbekannter oder nicht-standardisierter Bot: Manchmal verwenden Webentwickler oder Website-Betreiber Namen, die nicht allgemein bekannt sind, um Bots zu identifizieren, die auf ihre Website zugreifen. "NPBot-1/2.0" könnte eine spezifische Benennung für einen Bot sein, den der Website-Betreiber erkannt hat und von dem er möchte, dass er nicht auf seine Website zugreift.

Interne oder benutzerdefinierte Bots: Unternehmen und Organisationen können Bots erstellen, die speziell für ihre internen Zwecke entwickelt wurden, wie z. B. das Sammeln von Daten, das Überprüfen von Links oder das Durchführen von automatisierten Aufgaben. Ein solcher Bot könnte "NPBot-1/2.0" genannt werden.

Versionskontrolle: Die "2.0" im Namen könnte auf eine Version des Bots hinweisen. Wenn ein Bot kontinuierlich weiterentwickelt wird, könnte jede neue Version eine aktualisierte Benennung erhalten, um die verschiedenen Iterationen zu unterscheiden.

Veraltete oder veraltete Bots: Manchmal können Bots oder Crawler veraltet werden, wenn sie nicht mehr benötigt werden oder nicht mehr den aktuellen Standards entsprechen. Das Ausschließen eines veralteten Bots aus der robots.txt könnte dazu dienen, sicherzustellen, dass er nicht mehr auf die Website zugreift.

Fehlerhafte Benennung: Es besteht auch die Möglichkeit, dass es sich um einen Tippfehler oder eine fehlerhafte Benennung handelt. Es könnte sein, dass der tatsächliche Name des Bots anders geschrieben werden sollte."

VG Jens