Web-Scraping-Integration

Web-Scraping-Integration

Die Web-Scraping-Integration beobachtet eine Seite auf einer beliebigen Website und erstellt aus neu verlinkten Artikeln automatisch Cards. Sie ist der Rückfallweg für Quellen, die weder einen Feed noch eine eigene Integration anbieten.

Entscheidend ist dabei nicht irgendeine URL, sondern die richtige. Die Integration sollte auf eine Rubrik- oder Übersichtsseite zeigen, auf der die gewünschten Artikel verlässlich gelistet werden, etwa auf die Politikrubrik statt auf die Startseite. Startseiten mischen viele Formate und Themen; das führt meist zu einem unsauberen News-Feed.

Was Sie davon haben

Mit dieser Integration können Sie auch Quellen anbinden, die sich nicht auf anderem Weg einlesen lassen. Sobald auf der beobachteten Seite neue Artikel auftauchen, werden daraus Cards in Ihrem Mix.

Dabei räumt die Integration einige typische Störfaktoren bereits auf. Titel werden bereinigt, sodass SEO-Anhängsel wie „- DER SPIEGEL“ entfernt werden und nicht alle Cards gleich enden. Logos und Favicons erkennt das System und lässt sie weg; dann erscheint eine Card im Zweifel lieber ohne Bild als mit einem Logo an falscher Stelle.

Außerdem werden bereits importierte Artikel nicht doppelt angelegt, auch wenn sie mehrere Tage auf derselben Übersichtsseite stehen.

Einstellungen

Für diesen Quellentyp ist vor allem die URL wichtig: Tragen Sie die Rubrik- oder Übersichtsseite ein, die die gewünschten Artikel listet. Die Startseite ist in der Regel keine gute Wahl, weil sie Inhalte mischt und dadurch die Auswahl unscharf wird.

Beim Card-Typ haben Sie zwei Optionen. Die Voreinstellung ist die Artikel-Card mit Titel, Beschreibung, Bild und Link zum Original. Das ist fast immer die richtige Wahl. Alternativ gibt es Long Post (Beta). In diesem Modus wird der Artikeltext selbst übernommen, ohne Navigation und Fußzeile.

Long Post sollten Sie nur dort verwenden, wo die Rechte am Volltext bei Ihnen liegen. Bei fremden Quellen ist die Artikel-Card mit Link zum Original der passende Weg. Das ist keine technische, sondern eine urheberrechtliche Entscheidung.

Den Quellennamen können Sie optional überschreiben. Wenn Sie nichts eintragen, verwendet die Integration den Seitennamen des Herausgebers, ersatzweise die Domain.

Alles Weitere zu allgemeinen Integrationseinstellungen finden Sie auf der Übersichtsseite „So funktionieren Integrationen“.

Was die Integration für Sie erledigt

Die Integration durchsucht die angegebene Seite nach neu verlinkten Artikeln und erzeugt daraus Cards. Je nach gewähltem Card-Typ entsteht entweder eine Verlinkung auf das Original oder ein Long Post mit dem übernommenen Artikeltext.

Zusätzlich bereitet die Integration die Darstellung so auf, dass typische Artefakte vieler Websites nicht in Ihrem Feed landen. Dazu gehören bereinigte Titel sowie das Ausfiltern von Logos und Favicons als vermeintliche Artikelbilder.

Grenzen

Diese Integration braucht im Vergleich zu anderen Quellen am ehesten Pflege. Websites ändern sich, und bei einem Relaunch ändert sich oft auch die Struktur der Seite, auf die das Scraping angewiesen ist.

Hinzu kommt, dass manche Seiten technisch schwer auszulesen sind oder automatisierten Zugriff sperren. In solchen Fällen meldet die Integration einen Fehler.

Auch die Qualität der erzeugten Cards hängt von den Metadaten des jeweiligen Herausgebers ab. Wenn Titel, Beschreibungen oder Bilder auf der Quellseite unvollständig oder uneinheitlich gepflegt sind, zeigt sich das auch im Ergebnis.

Allgemeine Hinweise zu Status, Pausieren und anderen integrationsübergreifenden Punkten finden Sie ebenfalls auf der Übersichtsseite.

Fazit

Die Web-Scraping-Integration ist der praktische Weg für Quellen ohne Feed und ohne eigene Anbindung. Wenn Sie die passende Rubrik- oder Übersichtsseite wählen und den richtigen Card-Typ festlegen, erhalten Sie aus solchen Quellen einen brauchbaren und in vielen Fällen stabilen Import. Wo sich Websites stark verändern oder technischen Zugriff erschweren, sollten Sie allerdings mit Pflegeaufwand rechnen.