Was unser Scanner nicht messen kann: 91,5 % ohne Urteil, und warum wir die Zahl trotzdem zeigen

Jede automatische Prüfung hat eine Grenze, hinter der sie nichts mehr sieht. Wer eine Studie veröffentlicht, hat zwei Möglichkeiten: Er zeigt die Zahlen bis zur Grenze und schweigt über den Rest, oder er sagt, wo die Grenze liegt. Wir haben uns für das Zweite entschieden, weil die erste Variante bei unserer Länderstudie zu einer Schlagzeile geführt hätte, die wir nicht halten können.

Die Zahl, die wir fast veröffentlicht hätten

Unsere Prominenz-Prüfung vergleicht den Zustimmen- mit dem Ablehnen-Knopf: Größe, Farbkontrast, Position. Sind beide gleichwertig, gilt sie als bestanden; ist der Ablehnen-Knopf deutlich schwächer, als Mangel. Die Ergebnisse sehen auf den ersten Blick spektakulär aus: 21,3 % Mängel in Deutschland, aber nur 1,1 % in Frankreich. Zwanzigfach besser, genau dort, wo die Aufsichtsbehörde dieses Merkmal durchgesetzt hat. Eine perfekte Schlagzeile.

Sie ist falsch. Die Prüfung liefert in Frankreich bei 91,5 % der Banner überhaupt kein Urteil. Die 1,1 % stammen also aus den restlichen 7,4 % bis 8,5 %, einer kleinen und nicht zufällig ausgewählten Teilmenge. Aus solchen Resten lässt sich keine Landesquote bilden.

Warum die Prüfung aussetzt

Um zwei Knöpfe zu vergleichen, muss man beide finden. Den Zustimmen-Knopf findet unser Scanner zuverlässig, er ist groß, zentral und sprachlich vorhersehbar. Der Ablehnen-Knopf ist das Gegenteil: Er heißt je nach Land und Anbieter anders, steckt manchmal hinter einem Einstellungsdialog, ist als Text statt als Knopf gestaltet oder fehlt auf der ersten Ebene ganz. Finden wir ihn nicht sicher, gibt es nichts zu vergleichen, und wir geben kein Urteil ab statt eines falschen.

Dass das im deutschsprachigen Raum besser funktioniert, hat einen unspektakulären Grund: Wir haben mit deutschen und österreichischen Websites angefangen, und unser Katalog an Beschriftungen ist dort entsprechend dichter. Die französischen und niederländischen Begriffe haben wir erst ergänzt, als die jeweiligen Bestände dazukamen, und das merkt man ihm an. Das ist kein Befund über die Länder, sondern einer über uns

Was eine ausgesetzte Prüfung von einem bestandenen Test unterscheidet

Unsere Prüfungen kennen drei Ergebnisse: bestanden, Mangel, und manuelle Prüfung nötig. Das dritte ist bewusst eingebaut. Ein Scanner, der im Zweifel bestanden vergibt, produziert Berichte, die gut aussehen und nichts wert sind. Einer, der im Zweifel Mangel vergibt, produziert Fehlalarme, die Kunden Geld kosten. Der dritte Weg ist unbequemer, weil er Arbeit an den Menschen zurückgibt, aber er ist der einzige ehrliche.

Für die Länderstudie heißt das konkret: Bei der Prominenz berichten wir keine Länderquoten. Bei allen anderen Banner-Prüfungen liegt der Anteil ohne Urteil niedrig genug, um Quoten zu bilden, etwa bei der Ablehnen-Möglichkeit mit 6,5 % in Frankreich.

Der zweite Fall: was nach einer Ablehnung passiert

Die Prominenz ist nicht die einzige Prüfung mit diesem Problem. Wir messen auch, ob nach einer ausdrücklichen Ablehnung weiterhin Tracking-Kennungen gesetzt werden. Das ist rechtlich der klarste denkbare Fall: Der Nutzer hat entschieden, und die Entscheidung wird ignoriert.

Um das zu prüfen, muss der Scanner allerdings erst ablehnen können, und dafür muss er den Ablehnen-Weg finden, bedienen und das Ergebnis abwarten. Scheitert einer dieser Schritte, gibt es keine zweite Messung. Ohne Urteil bleiben dadurch 72,9 % der deutschen, 68,0 % der österreichischen, 69,3 % der niederländischen und 67,4 % der französischen Banner.

Anders als bei der Prominenz können wir die Zahl hier trotzdem nennen, weil sie als Untergrenze taugt: Was wir gefunden haben, haben wir gemessen, und zwar in allen vier Ländern mit derselben Einschränkung. Dass 9,2 % der deutschen Banner nach einer Ablehnung weiter tracken, ist eine belastbare Aussage über das knappe Drittel, das wir prüfen konnten. Eine Landesquote ist es nicht, und wir schreiben sie auch nirgends als eine hin.

Der Unterschied zur Prominenz liegt in der Richtung des Fehlers. Bei der Prominenz verzerrt die Lücke das Ergebnis systematisch: Gerade dort, wo der Ablehnen-Knopf schwer zu finden ist, wo das Problem also besonders groß wäre, kann die Prüfung nichts sagen. Die Quote sieht dadurch besser aus, als sie ist. Bei der Nachher-Messung gilt dasselbe, weshalb auch diese Zahl eher zu niedrig als zu hoch liegt.

Eine Prüfung, die in einem Land bricht

Ein dritter Fall zeigt, wie sprachabhängig solche Prüfungen sind. Wir testen, ob die Pflichtlinks zu Datenschutzerklärung und Impressum anklickbar bleiben und nicht vom Banner überdeckt werden. In Deutschland, Österreich und den Niederlanden bleibt diese Prüfung bei 2,6 bis 23,1 % der Fälle ohne Urteil, in Frankreich bei 79,0 %.

Der Grund ist derselbe wie oben: Um zu prüfen, ob ein Link erreichbar ist, muss man ihn erst erkennen, und französische Seiten benennen ihre Pflichtseiten anders. Für Frankreich berichten wir diese Achse deshalb nicht. Dass die drei anderen Länder zwischen 14 und 28 % liegen, bleibt davon unberührt.

Ähnlich, wenn auch harmloser, verhält es sich bei der Frage, ob das Banner überhaupt beim ersten Besuch erscheint: ohne Urteil bei 22,9 % in Deutschland und 30,7 % in Frankreich. Die gefundenen Mängel liegen dort überall unter einem Prozent, der Befund ist also unspektakulär, aber die Entscheidungsquote gehört trotzdem dazu.

Warum wir keine Lücke mit Hochrechnung schließen

Eine naheliegende Versuchung wäre, aus den entschiedenen Fällen auf die unentschiedenen zu schließen. Wenn von den auswertbaren französischen Bannern ein bestimmter Anteil durchfällt, warum nicht annehmen, dass es bei den übrigen ähnlich aussieht?

Weil die Annahme nachweislich falsch wäre. Die Fälle ohne Urteil sind keine Zufallsstichprobe, sondern genau die schwierigen: Banner mit ungewöhnlichem Aufbau, versteckten Knöpfen, mehreren Ebenen. Eine Hochrechnung würde den Teil des Bestands beschreiben, den wir gut messen können, und ihn als Aussage über den Teil verkaufen, den wir nicht messen können. Das ist der Unterschied zwischen einer Schätzung und einer Erfindung.

Drei weitere Grenzen, die wir offenlegen

Selbst gehostete Werkzeuge. Wer seine Analyse über die eigene Domain ausliefert, ist für einen netzwerkbasierten Scanner schwer zu erkennen. Wir finden solche Fälle über Spuren im Seitenquelltext, melden sie aber nie automatisch als Verstoß, weil die Treffsicherheit dafür nicht reicht.

Unbekannte Dritt-Domains. Verbindungen zu Adressen, die wir keinem Dienst zuordnen können, sind der größte blinde Fleck der ganzen Methode. Sie fließen nicht in die Tracking-Quoten ein, weil wir nicht wissen, was sie tun. Ein Teil davon ist sicher einwilligungspflichtig.

Eine Seite, ein Zeitpunkt. Wir prüfen die Startseite, einmal. Was auf der Kontaktseite passiert oder nächste Woche nachgerüstet wird, steht nicht in unseren Zahlen.

Warum wir das veröffentlichen

Weil jede dieser Grenzen ohnehin existiert, auch bei Prüfberichten, die sie nicht nennen. Ein Bericht, der zu allem eine Zahl hat, hat entweder eine bessere Methode oder weniger Skrupel. Nachprüfbar wird eine Studie erst dort, wo sie sagt, was sie nicht weiß. Alle Zahlen unserer Länderstudie stehen deshalb mit Nennern da, und bei jeder Banner-Prüfung nennen wir den Anteil ohne Urteil.

Grenzen dieser Auswertung

• Der Anteil ohne Urteil ist selbst ein Messwert und kann sich mit jedem Ausbau unseres Beschriftungskatalogs verschieben. Die Werte in diesem Artikel gelten für den Stand von Anfang Oktober 2026.
• Wir können nicht sagen, wie die ausgesetzten Fälle ausgegangen wären. Dass ein Knopf nicht gefunden wurde, heißt nicht, dass er fehlt, und nicht, dass er schwächer ist.

Häufige Fragen