OZM Trainspotting
Eine kleine „AI for Good“-Geschichte
Diese Woche haben wir dem OZM eine neue Seite hinzugefügt. Die Idee, Eisenbahn-Graffiti zu sammeln, war zwar schon vor längerer Zeit aufgekommen, aber wir hatten nicht die Zeit, uns wirklich damit auseinanderzusetzen. Bei verschiedenen Gelegenheiten sind wir auf das Thema zurückgekommen, aber nie so richtig. Bis August 2021, als wir uns dazu entschieden, dass dies der perfekte Job für eine KI ist.
Es gibt eine tief verwurzelte Ungerechtigkeit in der Kunst, die in der Literatur und Musik nicht selten aufgegriffen wird. Kunst erfordert nicht nur Talent und Können, sondern auch Zeit. Viel Zeit. Um als Künstler*in anerkannt zu werden, brauchst du die richtige Leinwand und eine Ausstellung, damit die Leute die Möglichkeit haben, deine Kunst zu sehen und schätzen zu lernen (oder auch nicht). Aber eine solche Leinwand ist schwer zu bekommen, von einer Ausstellung ganz zu schweigen. Ausstellungsplätze sind rar, und es herrscht ein harter Wettbewerb unter den Mitbewerber*innen, der von den meisten – gelinde gesagt – nicht unvoreingenommen beurteilt wird.
Streetart-Künstler*innen erkannten, dass man ihnen eine leicht verfügbare Leinwand mit einer, wenn auch kurzfristigen Ausstellung in Form des öffentlichen Verkehrssystems gegeben hat. Wobei manche “gegeben” vielleicht als eine unglückliche, wenn überhaupt berechtigte Übertreibung ansehen würden.
Das OZM hat das Privileg, eine der meistbefahrenen Bahnstrecken vor der Tür zu haben. Somit hat es die Möglichkeit, eine Ausstellungsplattform für feine Straßenkunst in Deutschland anbieten zu können. Wenn du auf dem Dach des OZMs sitzt und die Bahnlinien beobachtest, siehst du erstaunliche Kunstwerke. Wir wissen nicht, ob die Verantwortlichen der großen Bahnunternehmen eine genaue Vorstellung davon haben, wie ein Zug aussehen soll, oder aber, ob sie einfach nur dem/r nächsten Künstler*in eine saubere Leinwand zur Verfügung stellen möchten. Aber diese Meisterwerke überleben selten länger als ein paar Tage, daher sehen die meisten Züge danach wieder gleich aus. So ist das Betrachten der Bahnlinien den ganzen Tag doch ziemlich langweilig, auch wenn du wirklich auf Züge stehst. Aber für eine KI ist dies ein idealer Job, da die unvoreingenommen ist und es sie nicht stört, den ganzen Tag die Bahnlinien zu beobachten.
Wir hatten vor einiger Zeit ein künstliches neuronales Netz (KNN) für die Erkennung von Straßenkunst trainiert und die Netzwerkgröße auf 1,3 MB reduziert, wodurch es für die Echtzeiterkennung gut geeignet ist. Dieses KNN sollte also unser unvoreingenommener Richter sein, was natürlich ein Problem darstellt, da die Auswahl der Trainingsdaten eine durch unsere eigenen Vorurteile induzierte Verzerrung enthält.
Dieses Problem vorausgesehen, wurde das Netzwerk zunächst mit einer Mischung aus Webcrawling-Graffiti und Bildern von Street Art trainiert, die weitgehend unabhängig von der künstlerischen Schöpfungshöhe (oder Tiefe) in verschiedene Stadtteilen Hamburgs gesammelt wurden.
Das auf dieser Datenbank trainierte Netzwerk wurde mit mehreren Stunden Videos von Zug Graffiti gefüttert und sammelte Tausende von Trainingsbeispielen von Zuggraffiti sowie einige lustige sogenannte False Positives. Da uns nur die „Street-Art-ähnlichen“ Bilder interessierten, verwendeten wir eine Kombination aus Netzwerkausgangsaktivierung und Zwischenschicht-Cosinus-Abstand, um die Videos nach den besten Schnappschüssen aller gezeigten Meisterwerke zu filtern. Diese Trainingsbeispiele wurden in der Trainingsdatenbank des Netzwerks hinzugefügt, was einen guten Ausgangspunkt für ein unverzerrtes Training ergibt.
Als Erstes platzierten wir eine Kamera mit einem 10-fach optischen Zoom, die an einen kleinen Videoverarbeitungscomputer (eigentlich ein Jetson Nano) im zweiten Stock des OZMs angeschlossen wurde, um die Eisenbahnlinien zu beobachten und das Video zur Analyse an unsere Inferenzmaschine zu senden. Jetzt hatten wir also eine KI bekommen, die uns Schnappschüsse von den Graffiti auf den Zügen lieferte.
Wir verwendeten den Nano nur, um eine Videocodierung durchzuführen und das Video über WLAN an unsere kleine Inferenzmaschine zu senden, wo wir dasselbe wie bei den Videos gemacht haben. Natürlich hatten wir einige Probleme mit echten Negativen, die nicht in den Trainingsdaten enthalten waren, wie Videodekompressionsartefakte aufgrund schlechter WLAN-Qualität oder einige Züge wie den ICE, der nicht in der Datenbank waren. Auch die Perspektive aus der Kamera war ganz anders als bei den üblichen Trainingsbeispielen. Wir lösten das, indem wir die Feature-Erkennungsschichten einfroren und die obersten Schichten des Netzes mit zusätzlichen Beispielen, die in den ersten Testtagen gesammelt wurden, anpassten.
Aber es geht nicht nur darum, die besten Schnappschüsse zu machen. Es geht auch um die Präsentation der Schnappschüsse, die unseren Respekt und unsere Wertschätzung für die präsentierten Werke und den Einsatz sowie das Engagement, das sie ermöglichte, zeigen sollen.
Wir wollten den Fotos der Arbeiten etwas hinzufügen, um die Beziehung zwischen den Graffiti auf den Zügen und der Kunst aus dem OZM symbolisieren zu können, die von Künstler*innen gemacht werden, die ihre Karrieren mit Arbeiten auf den Bahnlinien direkt vorm OZM begonnen hatten. Nur Graffiti aus dem OZM auf die Bilder zu setzen, wäre lahm gewesen. Neue Graffiti für jedes Bild zu machen, das wir finden, wäre aus organisatorischen Gründen nicht möglich gewesen. Auch hier war KI die Lösung.
Um etwas Angemessenes hinzuzufügen, haben wir verschiedene KIs mit Werken etablierter Street-Art-Künstler*innen trainiert, die mit dem OZM zusammenarbeiten und die Ergebnisse verglichen. Wir entschieden uns dafür, die ausgewählten Fotos mit dem originellen Hammerbrooklyn-Logo zu signieren, das mit Bildern von sogenannten “latent walks” eines Stylegans2 gefüllt ist. Ein solches Bild ist hier ganz links zu sehen. In der Mitte ist das Hammerbrooklyn-Logo zu erkennen. Auf dem Schnappschuss wird der Umriss des Hammerbrooklyn-Logos dann als Schablone benutzt, um das generierte Bild der KI in Form des Hammerbrooklyn-Logos in den Schnappschuss zu “stempeln”.
Die nächste große Frage war, welche Schnappschüsse präsentiert werden sollten und wie. Wir einigten uns auf zufällige Schnappschüsse, sortiert nach Wochentagen. Besucher*innen sollen jedoch ermuntert werden, die Bilder zu durchsuchen, daher haben wir die meisten Bilder versteckt und die Namen der Wochentage als Container verwendet. Fährt ein/e Besucher*in mit der Maus über einen Buchstaben, wird dieser Teil sichtbar, aber um das ganze Bild zu sehen, müssen die Besucher*innen auf die Buchstaben klicken.
Um den Besucher*innen das tatsächliche Aufnahmedatum mitzuteilen, sollte es auf dem Schnappschuss gedruckt werden, was ein bisschen problematisch war. Jeder Schnappschuss zeigt individuelle Kunstwerke, denn wir verstehen das OZM als Kunstraum. Das einfache Rendern des Datums mit einer Schriftart war also keine Option. Ein Graffiti des Datums wäre die beste Lösung, aber es musste einzigartig sein. Ein drittes Mal war die Lösung, die KI.
Wir haben das Datum in Form eines Graffitis hinzugefügt, das von einer KI generiert wurde, die wiederum auf Formen der Werke von OZ trainiert wurde. Das Graffiti sieht nicht so aus, wie die meisten Leute es von OZ erwarten würden, der für seine Ozozozozoz-Schriften berühmt war. Aber das Kopieren von OZ war nie das Ziel, sondern vielmehr die Schaffung eines neuen Stils, der stark vom Spätwerk von OZ beeinflusst ist. Wer die Spätwerke von OZ kennt, bemerkt die Ähnlichkeit.
Das Verfahren nimmt Ziffern, die in einer gemeinsamen Schriftart gerendert werden (unten rechts), verzerrt sie und führt eine gewisse Grenzerkennung durch. Das resultierende Bild (großes linkes Bild) wird einem pix2pix-Gan zugeführt, das ausgiebig mit verzerrten Formen trainiert wurde, die aus Bildern von OZ entnommen wurden, wobei jedoch die Details aus dem Eingabebild entfernt wurden.
Wir betrachten dies aus mehreren Gründen als Beispiel für “AI for Good”. Niemand hat seinen Job verloren. Die KI sammelt und bewahrt Kunst, die sonst verloren gegangen wäre. Die von der KI gesammelte Kunst wird einem breiteren Publikum präsentiert. Die KI ist gegenüber Künstler*innen und Stilen unvoreingenommen, sodass niemand benachteiligt wird. Der Style von OZ wird in den Bildern aufgegriffen, um an den verstorbenen Hamburger Graffitikünstler zu erinnern, der nie aufgegeben hat, seine Stadt zu verschönern und somit zu der Vielfalt der Werke, die wir heute auf den Zügen bewundern können einen wichtigen Beitrag geleistet hat.
* Die Schnappschüsse werden auf https://onezeromore.com/ozmai-2/trainspotting/ angezeigt. Wir empfehlen euch, die Bilder zu durchsuchen, da ihr so die gesamte Kunst genießen könnt. Wir führen auch ein Instagram-Konto für eure tägliche Dosis an neuen Zug-Graffiti-Ankünften ein.
Wenn ihr ein besonders ansprechendes Graffiti findet, das ihr gerne auf eurem eigenen Zug, Gebäude, LKW, Boot, Flugzeug usw. haben möchtet, helfen wir euch gerne dabei. Kontaktiert uns einfach.
* Wir kennen die Urheber*in der Bilder natürlich nicht. Aber in der Regel kennen wir Künstler, die in der Lage, sind eine Interpretation des Graffitis, die dem Original sehr nahekommt, zu schaffen. (Aufgrund der Auflösung der Kamera und der Größe der Graffiti auf den Aufnahmen wäre eine 1 zu 1 Kopie sowieso verpixelt).
