OZM Trainspotting

En lille "AI for Good" historie

Det har vi i denne uge OZM tilføjet en ny side. Ideen om at samle toggraffiti opstod for længe siden, men vi havde ikke tid til rigtigt at se nærmere på det. Vi er vendt tilbage til emnet ved flere lejligheder, men aldrig rigtig. Indtil august 2021, hvor vi besluttede, at dette er det perfekte job for en kunstig intelligens. 

 

Der er en indgroet uretfærdighed i kunsten, som ikke ualmindeligt behandles i litteratur og musik. Kunst kræver ikke kun talent og dygtighed, men også tid. Meget tid. For at blive anerkendt som kunstner har du brug for det rigtige lærred og udstilling, så folk har en chance for at se og værdsætte din kunst (eller ej). Men sådan et lærred er svært at få fat i, endsige en udstilling. Udstillingssteder er sjældne, og der er hård konkurrence blandt konkurrenterne, som de fleste af dem mildt sagt ikke bedømmer uvildigt.

 

Gadekunstnere indså, at de fik et let tilgængeligt lærred med en udstilling, omend kortsigtet, i form af det offentlige transportsystem. Selvom nogle måske ville se "givet" som en uheldig, hvis overhovedet legitim, overdrivelse.

 

den OZM har det privilegium at have en af ​​de travleste jernbanestrækninger foran sin dør. Det har således mulighed for at tilbyde en udstillingsplatform for fin street art i Tyskland. Hvis du er på taget af OZMNår du sidder og ser på toglinjerne, vil du se fantastiske kunstværker. Vi ved ikke, om de ansvarlige for de store jernbaneselskaber har en præcis ide om, hvordan et tog skal se ud, eller om de bare vil give et rent lærred til den næste kunstner. Men disse mesterværker overlever sjældent mere end et par dage, så de fleste tog ser ens ud bagefter. Så det er ret kedeligt at se på toglinjerne hele dagen, selvom du virkelig godt kan lide tog. Men for en AI er dette et ideelt job, fordi det er upartisk og ikke har noget imod at se toglinjerne hele dagen lang.

Vi havde tidligere trænet et kunstigt neuralt netværk (ANN) til street art-genkendelse og reduceret netværksstørrelsen til 1,3 MB, hvilket gør det velegnet til realtidsgenkendelse. Så denne ANN burde være vores objektive dommer, hvilket selvfølgelig udgør et problem, da valget af træningsdata indeholder bias induceret af vores egne skævheder. 

For at foregribe dette problem blev netværket oprindeligt trænet med en blanding af web-crawling graffiti og street art-billeder indsamlet stort set uafhængigt af kunstnerisk skabelseshøjde (eller dybde) i forskellige kvarterer i Hamborg.

Netværket trænet på denne database blev fodret med flere timer med videoer af toggraffiti og indsamlede tusindvis af træningseksempler på toggraffiti samt nogle sjove såkaldte falske positiver. Da vi kun var interesserede i de "street art-lignende" billeder, brugte vi en kombination af netværksoutputaktivering og interlayer cosinusafstand til at filtrere videoerne til de bedste billeder af alle mesterværker på skærmen. Disse træningseksempler er tilføjet netværkets træningsdatabase, hvilket giver et godt udgangspunkt for objektiv træning.

Først placerede vi et kamera med en 10x optisk zoom forbundet til en lille videobehandlingscomputer (faktisk en Jetson Nano) på anden sal i OZMs at observere jernbanelinjerne og sende videoen til vores inferensmotor til analyse. Så nu havde vi en AI, der gav os snapshots af graffitien på togene.

Vi brugte kun Nano til at lave noget videokodning og sende videoen over WiFi til vores lille inferensmotor, hvor vi gjorde det samme, som vi gjorde med videoerne. Selvfølgelig havde vi nogle problemer med reelle negativer, der ikke var inkluderet i træningsdataene, såsom videodekompressionsartefakter på grund af dårlig wifi-kvalitet eller nogle tog som ICE, der ikke var i databasen. Perspektivet fra kameraet var også meget anderledes end de sædvanlige træningseksempler. Vi løste dette ved at fryse funktionsdetektionslagene og justere de øverste lag af nettet med yderligere prøver indsamlet i de første dage af testen.

Men det handler ikke kun om at tage de bedste snaps. Det handler også om præsentationen af ​​øjebliksbillederne, som skal vise vores respekt og påskønnelse for de fremlagte værker og den indsats og det engagement, der gjorde dem mulige. 

Vi ønskede at tilføje noget til billederne af værkerne for at vise forholdet mellem graffitien på togene og kunsten fra OZM at kunne symbolisere at blive lavet af kunstnere, der har startet deres karriere med at arbejde på jernbanestrækningerne lige udenfor OZM var startet. Kun graffiti fra OZM at stole på billederne ville have været halt. At lave ny graffiti til hvert billede, vi finder, ville ikke have været muligt af organisatoriske årsager. Igen var AI løsningen.

For at tilføje noget passende, trænede vi forskellige AI'er i værker af etablerede gadekunstnere, der er fortrolige med OZM samarbejde og sammenligne resultaterne. Vi besluttede at kombinere de valgte billeder med originalen Hammerbrooklyn-Skriv et logo fyldt med billeder af såkaldte "latente gåture" af en stilgås2. Sådan et billede kan ses her yderst til venstre. Det er i midten Hammerbrooklyn- Genkendeligt logo. På øjebliksbilledet er omridset af Hammerbrooklyn-Logoer blev derefter brugt som skabelon til at skabe det genererede billede af AI i form af Hammerbrooklyn- "Stempel" logoer i snapshottet.

OZMAI latent gang
Hammerbrooklyn Boy Black Skull hættetrøje

Det næste store spørgsmål var, hvilke snaps der skulle præsenteres og hvordan. Vi aftalte tilfældige snaps sorteret efter ugedag. Men for at opmuntre besøgende til at gennemse billederne, har vi skjult de fleste af billederne og brugt ugedages navne som containere. Når en besøgende bevæger musen hen over et bogstav, bliver den del synlig, men for at se hele billedet skal besøgende klikke på bogstaverne.

For at give besøgende besked om den faktiske dato, billedet blev taget, skulle det udskrives på snapshottet, hvilket var lidt problematisk. Hvert snapshot viser individuelle kunstværker, fordi vi forstår det OZM som kunstrum. Så blot at gengive datoen med en skrifttype var ikke en mulighed. En graffiti af datoen ville være den bedste løsning, men den skulle være unik. En tredje gang var løsningen AI.

Vi tilføjede datoen i form af en graffiti genereret af en AI, som igen blev trænet på former fra OZ's værker. Graffitien ligner ikke, hvad de fleste ville forvente af OZ, som var berømt for sine Ozozozozoz-skrifter. Men at kopiere OZ var aldrig målet, snarere at skabe en ny stil stærkt påvirket af OZ's sene arbejde. Enhver, der er bekendt med OZ's sene værker, vil bemærke ligheden.

Metoden tager cifre, der er gengivet i en fælles skrifttype (nedenfor til højre), fordrejer dem og udfører en vis grænsedetektering. Det resulterende billede (stort venstre billede) føres til en pix2pix gan, der er blevet grundigt trænet med forvrængede former udtrukket fra billeder fra OZ, men med detaljerne fjernet fra inputbilledet.

Vi betragter dette som et eksempel på "AI for Good" af flere grunde. Ingen mistede deres arbejde. AI’en indsamler og bevarer kunst, der ellers ville være gået tabt. Kunsten indsamlet af AI præsenteres for et bredere publikum. AI er upartisk over for kunstnere og stilarter, så ingen er dårligt stillet. OZ's stil gentages i billederne for at mindes den afdøde Hamborg-graffitikunstner, der aldrig gav op med at forskønne sin by og dermed ydede et vigtigt bidrag til den mangfoldighed af værker, som vi kan beundre i togene i dag. 

* Snapshots er tændt https://onezeromore.com/ozmai-2/trainspotting/ vises. Vi opfordrer dig til at gennemse billederne, da dette vil give dig mulighed for at nyde al kunsten. Vi lancerer også en Instagram-konto til din daglige dosis af nye toggraffiti-ankomster.

Finder du en særlig tiltalende graffiti, som du gerne vil have på dit eget tog, bygning, lastbil, båd, fly osv., hjælper vi dig gerne. Bare kontakt os.

* Vi kender selvfølgelig ikke forfatteren til billederne. Men normalt kender vi kunstnere, der er i stand til at skabe en fortolkning af graffiti, der er meget tæt på originalen. (På grund af kameraets opløsning og størrelsen af ​​graffitien på optagelserne ville en 1 til 1 kopi alligevel blive pixeleret).
Hammerbrooklyn Boy Black Skull hættetrøje