HerrKI mit seinem RoboterHerrKI KI verstehen · nachbauen · anwenden ⭐ 0 XP

Was sieht die KI? (Objekterkennung)

Lade ein Foto hoch oder starte die Kamera: COCO-SSD zeichnet live beschriftete Rahmen um alles, was es erkennt — und zeigt dir die rohen Zahlen dahinter. Bild und Kamerabild bleiben dabei auf deinem Gerät.

🔒 Deine Daten bleiben auf deinem Gerät. Foto und Kamerabild werden nicht hochgeladen — das Modell wird einmal in deinen Browser geladen und rechnet danach komplett lokal, auf deinem Prozessor. Kein Server sieht dein Bild.

👋 HerrKI hier — heute lernt dein Browser sehen

Ein Auto bremst, weil vor ihm jemand auf die Straße tritt. Du tippst „Hund“ in die Suche deiner Handy-Galerie und bekommst 240 Fotos, die nie jemand beschriftet hat. Die Selbstbedienungskasse erkennt deine Avocado — ganz ohne Barcode. Drei Alltagssituationen, ein und dieselbe Technik dahinter: Objekterkennung.

Und das Verrückte: Genau diese Fähigkeit holst du dir in den nächsten Minuten in deinen Browser. Kein Cloud-Dienst, kein Konto, keine Rechnung — ein 19 MB großes Modell namens COCO-SSD, das seit 2017 auf 80 Alltagsdinge trainiert ist, lädt gleich in dieses Tab und schaut sich dein Foto an.

🎯 Was du hier lernst:
  • Der Unterschied zwischen Klassifikation („was ist drauf?“) und Detektion („was ist wo?“)
  • Was ein Erkennungsmodell wirklich ausspuckt — Rahmen, Punktzahl, Klassennummer. Sonst nichts.
  • Was der Prozentwert bedeutet — und was er nicht bedeutet
  • Warum dein Bürostuhl erkannt wird, dein 3D-Drucker aber nicht
  • Im Mitmach-Teil: eigenes Foto oder Live-Kamera mit beschrifteten Rahmen — lokal in deinem Browser

💡 Roter Faden: Von der Anwendung, die jeder kennt, runter bis zum Tensor — und wieder hoch. Am Ende siehst du dein eigenes Foto als das, was es für die KI ist: ein Stapel Zahlen. Und ihre Antwort ebenfalls: zwei Zahlenlisten.

🔍 Klassifikation vs. Detektion — der Unterschied in drei Sätzen

Ein Klassifikator beantwortet genau eine Frage: „Was ist auf diesem Bild?“ — eine Antwort fürs ganze Bild, wie das Ziffern-Netz aus Kapitel 420, das entscheidet: das ist eine 7. Ein Detektor beantwortet drei Fragen auf einmal: was ist zu sehen, wo genau steckt es im Bild, und wie sicher ist sich das Netz dabei. Deshalb bekommst du gleich nicht ein Wort, sondern für jeden Fund einen Rahmen, ein Etikett und eine Prozentzahl.

KlassifikationDetektion (heute)
FrageWas ist drauf?Was ist wo — und wie sicher?
Antwort1 Wort pro Bild0 bis 20 Funde pro Bild
RohausgabeListe von WahrscheinlichkeitenRahmen-Koordinaten + Punktzahlen + Klassennummern
Typisch fürZiffern lesen, Katze/HundAssistenzsysteme, Kassen, Foto-Suche

Technisch ist ein Detektor ein Klassifikator mit einem zweiten Kopf: Derselbe Faltungs-Turm (die „Filter“ aus Kapitel 420) schaut sich das Bild an — aber am Ende hängen zwei Ausgänge dran. Einer rät die Klasse, der andere die vier Zahlen des Rahmens. „SSD“ heißt Single Shot Detector: ein einziger Durchlauf durchs Netz, alle Funde auf einmal.

🛠️ Dein Werkzeug: COCO-SSD im eigenen Browser

Schritt 1 — Modell laden

Das Modell wiegt 19 MB (Gewichte in 5 Paketen). Wir laden es erst auf Klick — damit niemand Datenvolumen verbrennt, der nur mitlesen will. Beim ersten Mal dauert es je nach Leitung ein paar Sekunden; danach liegt es im Browser-Cache.

🔬 Runter zum Tensor: Was liefert das Netz WIRKLICH?

Die bunten Rahmen oben sind Deko — die haben wir gemalt. Was das Netz zurückgibt, ist deutlich nüchterner. Erst mal die Reise deines Bildes hinein:

1. Dein Foto
z. B. 1200 × 900 Pixel
→
2. Tensor
[1, 900, 1200, 3]
ganze Zahlen 0–255
→
3. Faltungs-Turm
MobileNet-V2, Millionen Multiplikationen
→
4. Zwei Zahlenlisten
Rahmen + Punktzahlen

Schritt 2 ist exakt das, was du in „Bilder als Tensoren“ gebaut hast: Höhe × Breite × 3 Farbkanäle, jeder Wert eine Zahl von 0 bis 255. Die vorderste 1 ist die Stapelgröße („ein Bild bitte“). Für das Netz gibt es kein Foto — es gibt nur diesen Zahlenblock.

Und heraus kommt pro Fund genau das hier:

// Beispiel — nach der ersten Erkennung steht hier DEIN oberster Fund { bbox: [ 142, 88, 310, 255 ], // x, y, breite, hoehe — in Pixeln des Originalbildes score: 0.87, // Punktzahl 0..1 — wie stark das Netz auf diese Klasse tippt class: 'dog' // eine von 80 Klassennummern, hier als Name }

Mehr ist da nicht. bbox sind vier Pixelzahlen: linke obere Ecke, dann Breite und Höhe des Kastens. score ist eine einzige Fließkommazahl. Und class ist im Rohzustand nicht einmal ein Wort, sondern die Nummer 17 — dass daraus „Hund“ wird, macht eine schlichte Übersetzungstabelle, die in diesem Kapitel im JavaScript liegt (80 Zeilen, eine pro Klasse, von uns auf Deutsch übersetzt).

🔑 Kernsatz: Auch „Sehen“ ist am Ende Tensor-Rechnung. Zahlen gehen rein, Zahlen kommen raus — ein paar Koordinaten und ein paar Punktzahlen. Die Bedeutung („da steht ein Mensch, pass auf!“) entsteht erst in dem Programm, das diese Zahlen benutzt. Und in deinem Kopf.

⚠️ Ehrlich bleiben: was dieses Modell NICHT kann

  • Es kennt genau 80 Dinge. Der COCO-Datensatz wurde 2014–2017 zusammengestellt, die Liste ist seither eingefroren. Kein Gabelstapler, kein Rollator, kein Bildschirm-am-Monitorarm, kein E-Scooter, kein 3D-Drucker. Was nicht im Katalog steht, kann nicht erkannt werden — im besten Fall schweigt das Netz, im schlechteren macht es daraus das ähnlichste bekannte Ding.
  • Ungewohnte Blickwinkel und schlechtes Licht brechen ihm das Genick. Trainiert wurde an Fotos aus Menschenperspektive. Von oben, im Gegenlicht, halb verdeckt oder unscharf sinken die Punktzahlen rapide.
  • Kleine und viele Objekte sind schwer. Das schlanke Handy-Modell rastert das Bild grob ab; ein Vogel weit hinten am Himmel fällt schlicht durchs Raster.
  • Und das Wichtigste: Das ist kein Verstehen der Szene. Das Netz weiß nicht, dass ein Messer neben einem Kuchen etwas anderes bedeutet als ein Messer in einer Faust. Es kennt keine Absicht, keine Gefahr, keinen Zusammenhang — nur Muster, die statistisch zu 80 Etiketten passen.

🧭 Kommt dir bekannt vor? Genau dieselbe Logik steckt hinter den Halluzinationen der Sprachmodelle: Ein Netz gibt immer eine Antwort mit Zahlen dahinter, auch wenn die Frage außerhalb seiner Erfahrung liegt. „87 %“ heißt nicht „das stimmt zu 87 %“ — es heißt „von meinen 80 Schubladen passt diese am besten“. Ein Modell, das nur 80 Schubladen hat, hat für deinen 3D-Drucker eben keine — und legt ihn trotzdem irgendwo hinein.

Der komplette Katalog — mehr sieht dieses Modell nicht:

🧠 Kurzer Check — hast du es?

1. Über deinem Hund steht „Hund 91 %“. Was bedeutet diese Zahl?
2. Dein Bürostuhl wird zuverlässig erkannt, dein 3D-Drucker daneben nie. Warum?
3. Was liefert das Netz als Rohausgabe zurück?
🚀 Weiter geht’s: Das Netz von heute ist der große Bruder deines selbst trainierten Ziffern-CNN aus „Ziffern erkennen“ — gleiche Filter-Idee, nur mit einem zweiten Ausgang für die Rahmen. Warum „87 %“ trotzdem keine Wahrheit ist, steht in „Halluzinationen“. Und als Nächstes sieht die KI nicht nur, dass du da bist, sondern wie du stehst: Im Pose-Kapitel (440) werden aus dem einen Rahmen 17 Körperpunkte.