Web-Scraping-Integration: Seiten ohne Feed beobachten
Eine Rubrikseite beobachten und ihre Artikel als Karten übernehmen. Welche Seite sich eignet, Artikel-Karte oder Long Post, und warum diese Quelle Pflege braucht.
Wann diese Integration sinnvoll ist
Die Web-Scraping-Integration ist die Rückfalloption: dann, wenn eine Quelle keinen Feed, keine Schnittstelle und keine eigene Integration bietet, sich aber trotzdem anbinden lassen soll. Sie geben dafür genau die Seite an, die Sie sonst selbst täglich prüfen würden.
Zugleich ist sie die Integration mit dem höchsten Pflegeaufwand. Andere Integrationen lesen strukturierte Quellen, diese hier liest eine Webseite, und Webseiten ändern sich.
Wenn die Quelle einen Feed veröffentlicht, ist RSS die bessere Wahl: weniger bewegliche Teile, weniger Pflege und keine Abhängigkeit von der Seitenstruktur. Ein schneller Test reicht oft schon aus: Hängen Sie /feed an die Domain. Kommt etwas Strukturiertes zurück, brauchen Sie diese Seite in der Regel nicht. Mehr dazu auf der RSS-Integration und in der Übersicht „So funktionieren Integrationen“.
Welche Seite Sie beobachten
Über den Erfolg dieser Integration entscheidet vor allem die Wahl der beobachteten Seite. Die richtige URL ist fast nie die Startseite, sondern eine Seite, die Artikel in einer thematisch passenden und vorhersehbaren Menge auflistet.
Die Prüffrage dafür ist einfach: Wenn ich diese Seite jeden Morgen aufrufen würde, wären die neuen Links oben genau die, die in meine App sollen?
Seitentyp | Ergebnis |
|---|---|
Rubrik- oder Ressortseite | Das Ziel. Thematisch passend und in vorhersehbarer Menge. |
Startseite | Meist ungeeignet, weil sie alles mischt, etwa Sport neben Todesanzeigen neben Wetter. |
Themen- oder Schlagwortseite | Gut, oft sogar besser als eine Rubrik, weil eng und stabil. |
Autorenseite | Geeignet, wenn es um eine einzelne Kolumne oder eine einzelne Autorin oder einen einzelnen Autor geht. |
Suchergebnisseite | Meiden, weil sich die Sortierung ändern kann und alte Beiträge wieder als neu erscheinen. |
Einzelner Artikel | Wird abgelehnt, weil die Einstellung eine Seite erwartet, die Artikel auflistet. |
Die Integration liest die angegebene Seite, nicht die ganze Website. Wählen Sie deshalb die Seite, deren oberer Bereich zuverlässig die neuesten Beiträge trägt.
Der Kartentyp ist eine Rechtefrage
Für den Import stehen zwei Kartentypen zur Verfügung. Die Wahl ist keine Qualitätsfrage, sondern eine Rechtefrage.
Die Artikel-Karte übernimmt Titel, Beschreibung, Bild und einen Link zum Original. Leserinnen und Leser tippen zur Quelle durch. Das ist die richtige Wahl für alles, was Ihnen nicht selbst gehört.
Der Long Post im Beta-Stadium holt den Artikeltext selbst in einen tchop Long Post. Navigation und Fußzeile der Quellseite entfallen, die Leserschaft verlässt die App nicht. Genau deshalb ist diese Option nur für Inhalte gedacht, die auf Ihrer eigenen Webseite stehen, die von Ihnen beauftragt wurden oder für die eine schriftliche Erlaubnis vorliegt.
Für fremde Verlage gilt deshalb: Artikel-Karte und Verlinkung. Die Automatisierung des Transports ersetzt keine Lizenz.
Mehr zum Kartentyp finden Sie auf der Seite „Long Post“.
Was die Integration automatisch bereinigt
Ein Teil der Arbeit passiert im Hintergrund, damit Karten lesbarer und konsistenter werden. Drei Bereinigungen sind besonders wichtig.
Erstens werden Titelzusätze entfernt. Viele Verlage hängen aus Suchgründen den eigenen Namen an Überschriften. Aus „Neuer Schichtplan steht - DER SPIEGEL“ wird dann „Neuer Schichtplan steht“. Gerade bei mehreren Beiträgen aus derselben Quelle verhindert das, dass Kartenfuß und Titel sich unnötig wiederholen.
Zweitens werden Logos und Favicons herausgefiltert. Ist das einzige Bild einer Artikelseite das Seitenlogo, entsteht die Karte bewusst ohne Bild, statt ein Logo wie ein Beitragsfoto zu verwenden.
Drittens werden bereits importierte Artikel nachgehalten. Ein Beitrag, der vier Tage lang auf derselben Rubrikseite steht, wird einmal importiert und nicht jeden Tag erneut.
Quellenname bewusst setzen
Der Quellenname ist die eine Angabe, die sich fast immer lohnt. Ohne manuelle Eingabe verwendet die Integration den Seitennamen des Betreibers, ersatzweise die Domain.
Setzen Sie den Quellenname vor allem dann selbst, wenn der Eigenname der Seite uneinheitlich erscheint oder in einer Kartenfußzeile schlecht lesbar ist. Eine kleine Korrektur an dieser Stelle verbessert die Lesbarkeit im Mix oft deutlicher als jede andere Feineinstellung.
Warum der Pflegeaufwand höher ist
Der höhere Pflegeaufwand ist kein Nebenaspekt, sondern Teil dieser Integrationsart. Eine Webseite ist keine stabile Datenquelle, sondern eine Oberfläche, die sich mit Relaunches und Umbauten verändern kann.
Ein Relaunch kann dazu führen, dass andere Elemente gelesen werden als zuvor. Dann steht die Integration entweder auf Status Fehler oder sie liefert leise schlechtere Karten. Beides sollten Sie im Blick behalten.
Dazu kommt: Manche Seiten sperren automatisierten Zugriff. Das ist ihre Entscheidung und nichts, was sich in der Integration wegkonfigurieren ließe.
Andere Seiten sind grundsätzlich nicht verlässlich auslesbar. Typisch sind stark skriptgesteuerte Seiten oder Seiten, die ihre Links erst nach einer Interaktion anzeigen.
Schließlich folgt auch die Kartenqualität der Quelle selbst. Ein Verlag mit sauberen Vorschau-Metadaten liefert saubere Karten, einer ohne liefert dünne Karten. Keine Einstellung in tchop ändert das nachträglich.
Status und Kontrolle im Alltag
Die Integration kennt die Status aktiv, pausiert und Fehler. Gerade bei gescrapten Quellen lohnt sich der regelmäßige Blick in die Integrationsliste.
Wichtig ist dabei: Fehler bleiben stumm. Es gibt keine Benachrichtigung. Wenn Sie sich auf eine solche Quelle verlassen, sollte die Kontrolle Teil Ihrer Wochenroutine sein.
Für wenige wirklich wichtige Quellen lässt sich auf Anfrage eine E-Mail-Warnung einrichten.
Häufige Fehlerfälle
Fehler direkt nach der Einrichtung Meist ist die URL die Ursache. Prüfen Sie zuerst, ob Sie wirklich eine Listenseite und keinen Einzelartikel eingetragen haben. Zweite Frage: Öffnet sich die Seite ohne Anmeldung und ohne Sperre durch ein Cookie-Banner?
Karten ohne Bild Dann tragen die Artikel entweder kein Vorschaubild oder das einzige gefundene Bild war ein Logo. Dieses wird bewusst gefiltert.
Karten mit falschem Bild Manche Seiten setzen an die Stelle des Vorschaubilds ein Werbebanner. Solche Karten müssen Sie manuell korrigieren.
Der Titel trägt weiter den Seitennamen Die Bereinigung deckt die üblichen Muster ab, aber ein ungewöhnliches Trennzeichen kann erhalten bleiben. Korrigieren Sie die Karte und melden Sie das Muster.
Der Mix füllt sich mit Fremdem Dann listet die beobachtete Seite mehr, als zunächst erwartet. Wechseln Sie auf eine engere Rubrikseite oder Schlagwortseite. Das bedeutet allerdings eine neue Integration, weil Mix und Erstimport nach der Anlage feststehen.
Long Post kommt abgeschnitten oder unsortiert an Long Post ist im Beta-Stadium und hängt stark an der Struktur des Artikels. Stellen Sie diese Quelle in so einem Fall auf die Artikel-Karte um.
Häufige Fragen
Sind Seiten hinter Bezahlschranke oder Anmeldung möglich? Nein. Das gilt auch für Quellen, die erst nach Login sichtbar werden.
Lässt sich ein eigenes Intranet anbinden? Nur wenn es aus dem offenen Netz erreichbar ist. Andernfalls brauchen Sie die tchop-API oder ein Workflow-Werkzeug.
Wie viele Artikel kommen beim Erstimport? So viele, wie der gewählte Wert von 0 bis 50 auf der Seite findet. Mehr als die Seite selbst auflistet, ist nicht möglich.
Welche Seite soll ich für die Integration angeben? Immer die Seite, auf der im oberen Bereich die neuesten Beiträge stehen und die möglichst wenig anderes mischt.
Lässt sich der Kartentyp später ändern? Ja. Der Kartentyp ist nachträglich änderbar. Mix und Erstimport sind es nicht.
Was gilt rechtlich? Nicht das Lesen einer öffentlichen Seite ist der Punkt, sondern die Wiedergabe. Artikel-Karten verlinken zum Original und bleiben damit auf der sicheren Seite, Long Posts nicht.
Vor der Einrichtung: drei kurze Prüfungen
Bevor Sie die Integration anlegen, prüfen Sie drei Punkte.
Erstens: Die Seite listet die gewünschten Artikel und nur wenig anderes. Zweitens: Die Seite öffnet ohne Anmeldung und ohne Sperre. Drittens: Die Seite hat keinen Feed, den Sie stattdessen verwenden könnten.
Wenn alle drei Punkte erfüllt sind, ist Web-Scraping die passende Rückfalloption. Wenn nicht, ist meist eine andere Integration die robustere Wahl.
