Was sieht die KI? (Objekterkennung)

👋 HerrKI hier — heute lernt dein Browser sehen

🧭 Einfach gesagt: Du zeigst der KI ein Foto oder deine Kamera, und sie malt Rahmen um alles, was sie erkennt — mit einer Prozentzahl, wie sicher sie sich ist.

Ein Auto bremst, weil vor ihm jemand auf die Straße tritt. Du tippst „Hund“ in die Suche deiner Handy-Galerie und bekommst 240 Fotos, die nie jemand beschriftet hat. Die Selbstbedienungskasse erkennt deine Avocado — ganz ohne Barcode. Drei Alltagssituationen, ein und dieselbe Technik dahinter: Objekterkennung.

Und das Verrückte: Genau diese Fähigkeit holst du dir in den nächsten Minuten in deinen Browser. Kein Cloud-Dienst, kein Konto, keine Rechnung — ein 19 MB großes Modell namens COCO-SSD, das seit 2017 auf 80 Alltagsdinge trainiert ist, lädt gleich in dieses Tab und schaut sich dein Foto an.

💡 Roter Faden: Von der Anwendung, die jeder kennt, runter bis zum Tensor — und wieder hoch. Am Ende siehst du dein eigenes Foto als das, was es für die KI ist: ein Stapel Zahlen. Und ihre Antwort ebenfalls: zwei Zahlenlisten.

🔍 Klassifikation vs. Detektion — der Unterschied in drei Sätzen

Ein Klassifikator beantwortet genau eine Frage: „Was ist auf diesem Bild?“ — eine Antwort fürs ganze Bild, wie das Ziffern-Netz aus Kapitel 420, das entscheidet: das ist eine 7. Ein Detektor beantwortet drei Fragen auf einmal: was ist zu sehen, wo genau steckt es im Bild, und wie sicher ist sich das Netz dabei. Deshalb bekommst du gleich nicht ein Wort, sondern für jeden Fund einen Rahmen, ein Etikett und eine Prozentzahl.

Technisch ist ein Detektor ein Klassifikator mit einem zweiten Kopf: Derselbe Faltungs-Turm (die „Filter“ aus Kapitel 420) schaut sich das Bild an — aber am Ende hängen zwei Ausgänge dran. Einer rät die Klasse, der andere die vier Zahlen des Rahmens. „SSD“ heißt Single Shot Detector: ein einziger Durchlauf durchs Netz, alle Funde auf einmal.

🔬 Runter zum Tensor: Was liefert das Netz WIRKLICH?

Die bunten Rahmen oben sind Deko — die haben wir gemalt. Was das Netz zurückgibt, ist deutlich nüchterner. Erst mal die Reise deines Bildes hinein:

Schritt 2 ist exakt das, was du in „Bilder als Tensoren“ gebaut hast: Höhe × Breite × 3 Farbkanäle, jeder Wert eine Zahl von 0 bis 255. Die vorderste 1 ist die Stapelgröße („ein Bild bitte“). Für das Netz gibt es kein Foto — es gibt nur diesen Zahlenblock.

Und heraus kommt pro Fund genau das hier:

Mehr ist da nicht. bbox sind vier Pixelzahlen: linke obere Ecke, dann Breite und Höhe des Kastens. score ist eine einzige Fließkommazahl. Und class ist im Rohzustand nicht einmal ein Wort, sondern die Nummer 17 — dass daraus „Hund“ wird, macht eine schlichte Übersetzungstabelle, die in diesem Kapitel im JavaScript liegt (80 Zeilen, eine pro Klasse, von uns auf Deutsch übersetzt).

📚 Zum Weiterlesen

• Redmon u. a. 2015, „You Only Look Once“ (YOLO) — arxiv.org/abs/1506.02640 — die Arbeit, die aus Detektion einen einzigen Durchlauf statt tausender Bildausschnitte gemacht hat.
• Liu u. a. 2015, „SSD: Single Shot MultiBox Detector“ — arxiv.org/abs/1512.02325 — das „SSD“ aus COCO-SSD: genau der Bauplan mit den zwei Ausgängen, den du hier benutzt hast.
• COCO — Common Objects in Context — cocodataset.org — der Datensatz hinter den 80 Klassen; dort steht schwarz auf weiß, was drin ist und was eben nicht.
• TensorFlow.js, Modell coco-ssd — github.com/tensorflow/tfjs-models — das Modell aus diesem Kapitel samt Schnittstelle, wenn du es in ein eigenes Projekt einbauen willst.