Heute Nacht ist uns erstmalig der "Google Feedfetcher" aufgefallen.
Nur wer durch Zufall gerade anwesend ist, kann ihn sehen und anklicken um die Erklärung zu dieser neuen "Suchmaschinenart" zu erhalten .
Oder man muss bei Google ganz gezielt die Unmenge an Erklärungen für Webmaster durchlesen/durchsuchen.
Damit ihr nicht lange suchen müsst und die Erklärungen nicht eventuell mit einem dead link verknüft werden, zitiere ich sie am Ende des Beitrages das, was Google heute dazu veröffentlich.
Ich selbst habe es zuerst nur kurz überflogen, vor Allem, da ma eigentlich alle zusammenhängenden Links auch lesen müsste.
Meine Überlegungen über Vor- und Nachteile habe ich bereits im Thema Feeds abonnieren gepostet.
Wollt ihr, dass ein Feed-Dienst jetzt kontrollieren kann, was (eigentlich) eure Abonnenten an neuen Feed-Inhalten zu lesen bekommen ?
Wollt ihr, dass ihr all euren Statistiken "vergessen" könnt ?
Als Seitenbetreiber kann man sich jetzt "aussuchen" was man machen möchte:
Man verlässt sich nicht mehr auf seine Counter
.. dann kann man sie auch gleich deinstallieren/deaktivieren.
Ohne Counter gibt es keinerlei Infos mehr darüber, wie interessant die Seite für Außenstehende ist.
Ohne vernünftige Statistiken gibt es keine Verbesserungen. Da kann man gleich alles offline lassen.
Man deaktiviert seine Feeds
Damit würde man aber auch dafür sorgen, dass Feed-Abonnenten keine Infos mehr bekommen. Gerade in Zeiten von mobilen Endgeräten werden die Feeds aber immer wichtiger für die User:
Immer über das Neueste informiert sein, ohne die jeweilige Seite gesondert aufrufen zu müssen
Man blockt alle Feed-Fetcher (egal von wem)
Die Server-IPs ändern sich immer mal wieder. Man muss also darauf vertrauen, dass ein Feed-Dienst auch immer "ehrlich" seine Kennung mitsendet.
Ein Feed-Dienst muss aber nicht "ehrlich" sein. So ein Dienst macht es ja nicht aus Langeweile, sondern weil ein finanzielles Interesse dahinter steht. Er kann sich auch jederzeit andere Kennungen geben. Diese zu erkennen, wird dann fast unmöglich sein.
Mit der robot.txt kann man jedenfalls nicht arbeiten. So ein "Feed-Anbieter" fühlt sich nicht als Suchmaschine und deshalb auch nicht dazu verpflichtet, sich an eventuelle Verbote zu halten.
Das ist aber nur eine Auslegung, damit man "moralisch" besser dasteht.
Nun das Zitat der Erklärungen (als Kopie) was der Feed Fetcher von Google machen soll.
ZitatAlles anzeigenGoogle verwendet den Feedfetcher zum Abruf von RSS- oder Atom-Feeds, die Nutzer zu ihrer Google-Startseite oder ihrem Google Reader hinzugefügt haben. Der Feedfetcher ruft diese von Nutzern initiierten Feeds zwar ab und aktualisiert sie regelmäßig, indexiert sie jedoch nicht in der Google Blogsuche oder anderen Google-Suchdiensten. In unseren Suchergebnissen werden nur Feeds angezeigt, die vom Googlebot gecrawlt wurden. Im Folgenden erhalten Sie Antworten auf einige häufig gestellte Fragen zur Funktionsweise dieses nutzergesteuerten Feed-Abruf-Tools.
•Wie kann ich meinen Feed zu den Suchergebnissen für die personalisierte Startseite von Google und für den Google Reader hinzufügen?
•Wie beantrage ich, dass weder einige noch alle Feeds meiner Website von Google abgerufen werden?
•Wie oft ruft der Feedfetcher meine Feeds ab?
•Warum versucht der Feedfetcher, von meinem Server bzw. einem nicht vorhandenen Server falsche Links herunterzuladen?
•Warum lädt der Feedfetcher Informationen von unserem "geheimen" Webserver herunter?
•Warum ignoriert der Feedfetcher meine "robots.txt"-Datei?
•Warum gibt es bei Google.com Treffer verschiedener Maschinen, alle mit dem User-Agent Feedfetcher?
•Können Sie mir die IP-Adressen mitteilen, von denen aus der Feedfetcher Anfragen stellt, sodass ich meine Protokolle entsprechend filtern kann? •Warum lädt der Feedfetcher die gleiche Seite auf meiner Website mehrmals herunter?
•Warum werden die Feeds von meiner Website, die vom Feedfetcher angefragt wurden, nicht in Ihrem Index angezeigt?
•Welche Art von Links ruft der Feedfetcher ab?
•Meine Frage zum Feedfetcher wird hier nicht beantwortet. Wo kann ich weitere Hilfe erhalten?
Antworten
Wie kann ich meinen Feed zu den Suchergebnissen für die personalisierte Startseite von Google oder für den Google Reader hinzufügen?
Feedfetcher-Abfragen werden immer von Nutzern initiiert. Er indexiert daher keine Feeds, um sie zu den Suchergebnissen für Google-Dienste hinzuzufügen. In Suchergebnissen angezeigte Feeds wurden vom Googlebot gecrawlt. Der Googlebot findet öffentliche Feeds über eine automatische Feedsuchfunktion. Erfahren Sie, wie Sie diese Tags zu Ihrer Website hinzufügen können.
Wie beantrage ich, dass weder einige noch alle Feeds meiner Website von Google abgerufen werden?
Wenn Nutzer Ihren Feed zu ihren iGoogle-Seiten oder zu ihrem Google Reader hinzufügen, versucht der Feedfetcher von Google, den Feed-Content zu erhalten, um ihn anzeigen zu können. Da Feedfetcher-Abrufe von menschlichen Nutzern und nicht etwa von automatischen Crawlern initiiert werden, folgt der Feedfetcher den "robots.txt"-Richtlinien nicht.
Wenn Ihr Feed öffentlich verfügbar ist, kann Google den Zugriff von Nutzern nicht verhindern. Eine Lösungsmöglichkeit ist, Ihre Website so zu konfigurieren, dass sie dem User-Agent Feedfetcher-Google eine Fehlermeldung mit dem Code 404, 410 oder einem anderen Code zurückgibt.
Wird Ihr Feed von einem Blog oder Website-Hosting-Service bereitgestellt, arbeiten Sie bitte direkt mit dem jeweiligen Service zusammen, um den Zugriff auf Ihren Feed zu verhindern.
Wie oft ruft der Feedfetcher meine Feeds ab?
Der Feedfetcher sollte von den meisten Websites durchschnittlich höchstens einmal pro Stunde Feeds abrufen. Einige häufig aktualisierte Websites werden unter Umständen öfter aktualisiert. Netzwerkverzögerungen können jedoch vorübergehend den Eindruck erwecken, dass der Feedfetcher Ihre Feeds häufiger abruft.
Warum versucht der Feedfetcher, von meinem Server bzw. einem nicht vorhandenen Server falsche Links herunterzuladen?
Der Feedfetcher ruft Feeds auf Anfrage von Nutzern ab, die die Feeds zu ihrer Google-Startseite hinzugefügt haben. Womöglich hat ein Nutzer eine nicht vorhandene Feed-URL angefordert.
Warum lädt der Feedfetcher Informationen von unserem "geheimen" Webserver herunter?
Der Feedfetcher ruft Feeds auf Anfrage von Nutzern ab, die die Feeds zu ihrer Google-Startseite oder ihrem Google Reader hinzugefügt haben. Womöglich wurde die Anfrage von einem Nutzer gestellt, der von Ihrem "geheimen" Server weiß oder ihn versehentlich eingegeben hat.
Warum ignoriert der Feedfetcher meine "robots.txt"-Datei?
Der Feedfetcher ruft nur Feeds ab, die Nutzer explizit zu ihrer Google-Startseite oder ihrem Google Reader hinzugefügt haben. Der Feedfetcher verhält sich nicht wie ein Roboter, sondern wie ein direkter Vertreter des menschlichen Nutzers, und ignoriert daher "robots.txt"-Einträge. Sein besonderer Vorteil besteht darin, dass er Bandbreite nicht unnötig verwendet: Da er für mehrere Nutzer agiert, stellt er Anfragen für verbreitete Feeds nur einmal für alle Nutzer.
Weitere Informationen über "robots.txt"-Dateien erhalten Sie unter Blockieren oder Entfernen von Seiten mithilfe einer "robots.txt"-Datei.
Warum gibt es bei Google.com Treffer verschiedener Computer, alle mit dem User-Agent Feedfetcher?
Der Feedfetcher wurde für die Verteilung auf mehrere Maschinen konzipiert, um so analog zum Wachstum des Webs die Leistung verbessern und den Umfang steigern zu können. Um nicht unnötig Bandbreite zu beanspruchen, sind die Maschinen oft in der Nähe von Websites zu finden, die von ihnen im Netzwerk abgefragt werden.
Können Sie mir die IP-Adressen mitteilen, von denen aus der Feedfetcher Anfragen stellt, sodass ich meine Protokolle entsprechend filtern kann?
Die vom Feedfetcher verwendeten IP-Adressen ändern sich von Zeit zu Zeit. Zugriffe vom Feedfetcher lassen sich am besten durch die Verwendung seines identifizierbaren User-Agents (Feedfetcher-Google) feststellen.
Warum lädt der Feedfetcher die gleiche Seite auf meiner Website mehrmals herunter?
Im Allgemeinen sollte der Feedfetcher während eines gegebenen Feed-Abrufs nur eine Kopie jeder Datei von Ihrer Website herunterladen. In seltenen Fällen werden die Maschinen angehalten und erneut gestartet. Dadurch wird er unter Umständen dazu veranlasst, kürzlich besuchte Seiten erneut abzufragen.
Warum werden die Feeds von meiner Website, die vom Feedfetcher abgerufen wurden, nicht in Ihrem Index angezeigt?
Der Feedfetcher ruft Feeds nur auf Anfrage von Nutzern ab, die die Feeds zu ihrer Google-Startseite oder ihrem Google Reader hinzugefügt haben. Er ruft keine Inhalte ab, um sie dem Google-Suchindex hinzuzufügen. Dort werden daher keine vom Feedfetcher abgerufenen Inhalte angezeigt. Diese Inhalte werden nur dort angezeigt, sofern sie auch vom Googlebot abgerufen wurden.
Welchen Arten von Links folgt der Feedfetcher?
Anders als normale Webcrawler folgt der Feedfetcher überhaupt keinen Links, sondern den Anfragen, die von Nutzern der personalisierten Startseite von Google an ihn gestellt werden.
Meine Frage zum Feedfetcher wird hier nicht beantwortet. Wo kann ich weitere Hilfe erhalten?
Sollten Sie noch immer Schwierigkeiten haben, veröffentlichen Sie Ihre Frage im Forum der Webmaster-Tools.
aktualisiert 07/23/2011
Quelle: http://www.google.com/support/…n/answer.py?answer=178852