Web-Scraping-Integration
Eine beliebige Webseite auf neue Artikel beobachten, auch ohne Feed, und daraus Karten erzeugen.
Die Web-Scraping-Integration beobachtet eine Seite auf einer beliebigen Website und erstellt aus neu verlinkten Artikeln automatisch Karten. Sie ist der Rückfallweg für Quellen, die weder einen Feed noch eine eigene Integration anbieten.
Entscheidend ist dabei nicht irgendeine URL, sondern die richtige. Die Integration sollte auf eine Rubrik- oder Übersichtsseite zeigen, auf der die gewünschten Artikel verlässlich gelistet werden. Also auf die Politikrubrik statt auf die Startseite. Startseiten mischen viele Formate und Themen; das führt meist zu einem unsauberen News-Feed.
Was Sie davon haben
Mit dieser Integration können Sie auch Quellen anbinden, die sich nicht auf anderem Weg einlesen lassen. Sobald auf der beobachteten Seite neue Artikel auftauchen, werden daraus Karten in Ihrem Mix. Das spart Handarbeit.
Dabei räumt die Integration einige typische Störfaktoren bereits auf. Titel werden bereinigt, sodass SEO-Anhängsel wie „- DER SPIEGEL“ entfernt werden und nicht alle Karten gleich enden. Logos und Favicons erkennt das System und lässt sie weg; dann erscheint eine Karte im Zweifel lieber ohne Bild als mit einem Logo an falscher Stelle.
Außerdem werden bereits importierte Artikel nicht doppelt angelegt, auch wenn sie mehrere Tage auf derselben Übersichtsseite stehen.
Einstellungen
Für diesen Quellentyp ist vor allem die URL wichtig: Tragen Sie die Rubrik- oder Übersichtsseite ein, die die gewünschten Artikel listet. Die Startseite ist in der Regel keine gute Wahl, weil sie Inhalte mischt und dadurch die Auswahl unscharf wird.
Beim Kartentyp haben Sie zwei Optionen. Die Voreinstellung ist die Artikel-Karte mit Titel, Beschreibung, Bild und Link zum Original. Das ist fast immer die richtige Wahl. Alternativ gibt es Long Post (Beta), bei dem der Artikeltext selbst übernommen wird, ohne Navigation und ohne Fußzeile, sodass im Mix ein vollständiger Beitrag statt einer Verlinkung entsteht.
Long Post sollten Sie nur dort verwenden, wo die Rechte am Volltext bei Ihnen liegen. Bei fremden Quellen ist die Artikel-Karte mit Link zum Original der passende Weg, weil Sie damit auf den Beitrag verweisen, ohne ihn zu reproduzieren. Das ist keine technische, sondern eine urheberrechtliche Entscheidung. Klären Sie das vorab.
Den Quellennamen können Sie optional überschreiben. Wenn Sie nichts eintragen, verwendet die Integration den Seitennamen des Herausgebers, ersatzweise die Domain.
Alles Weitere zu allgemeinen Integrationseinstellungen finden Sie auf der Übersichtsseite „So funktionieren Integrationen“.
Was die Integration für Sie erledigt
Die Integration durchsucht die angegebene Seite nach neu verlinkten Artikeln und erzeugt daraus Karten. Je nach gewähltem Kartentyp entsteht entweder eine Verlinkung auf das Original oder ein Long Post mit dem übernommenen Artikeltext.
Zusätzlich bereitet die Integration die Darstellung so auf, dass typische Artefakte vieler Websites nicht in Ihrem Feed landen. Dazu gehören bereinigte Titel sowie das Ausfiltern von Logos und Favicons als vermeintliche Artikelbilder.
Grenzen
Diese Integration braucht im Vergleich zu anderen Quellen am ehesten Pflege. Websites ändern sich. Bei einem Relaunch verschiebt sich oft auch die Struktur der Seite, auf die das Scraping angewiesen ist.
Hinzu kommt, dass manche Seiten technisch schwer auszulesen sind oder automatisierten Zugriff von vornherein sperren, was sich vorher selten sicher erkennen lässt. Dann meldet die Integration einen Fehler.
Auch die Qualität der erzeugten Karten hängt an den Metadaten des Herausgebers. Wenn Titel, Beschreibungen oder Bilder auf der Quellseite unvollständig oder uneinheitlich gepflegt sind, zeigt sich das auch im Ergebnis.
Allgemeine Hinweise zu Status, Pausieren und anderen integrationsübergreifenden Punkten finden Sie ebenfalls auf der Übersichtsseite.
Fazit
Die Web-Scraping-Integration ist der praktische Weg für Quellen ohne Feed und ohne eigene Anbindung. Wenn Sie die passende Rubrik- oder Übersichtsseite wählen und den richtigen Kartentyp festlegen, erhalten Sie aus solchen Quellen einen brauchbaren und in vielen Fällen stabilen Import. Wo sich Websites stark verändern oder technischen Zugriff erschweren, sollten Sie allerdings mit Pflegeaufwand rechnen.
