OZM Trainspotting
Una pequeña historia de "IA for Good"
Esta semana tenemos eso OZM añadió una nueva página. La idea de coleccionar grafitis de trenes surgió hace mucho tiempo, pero no tuvimos tiempo de analizarla. Hemos vuelto al tema en varias ocasiones, pero nunca realmente. Hasta agosto de 2021 cuando decidimos que este es el trabajo perfecto para una IA.
Hay una injusticia arraigada en el arte que se aborda con frecuencia en la literatura y la música. El arte requiere no solo talento y habilidad, sino también tiempo. Mucho tiempo. Para ser reconocido como artista, necesitas el lienzo y la exposición adecuados para que la gente tenga la oportunidad de ver y apreciar tu arte (o no). Pero un lienzo así es difícil de conseguir, y mucho menos una exposición. Los lugares de exhibición son escasos y existe una competencia feroz entre los competidores, que la mayoría de ellos no juzga imparcialmente, por decirlo suavemente.
Los artistas callejeros se dieron cuenta de que tenían un lienzo de fácil acceso con una exposición, aunque sea a corto plazo, en forma de sistema de transporte público. Aunque algunos quizás verían "dado" como una exageración desafortunada, si es que legítima.
El OZM tiene el privilegio de tener una de las líneas ferroviarias más transitadas frente a su puerta. Por lo tanto, tiene la oportunidad de ofrecer una plataforma de exhibición de bellas artes callejeras en Alemania. Si estás en el techo de la OZMSentado y mirando las líneas del tren, verá increíbles obras de arte. No sabemos si los responsables de las principales compañías ferroviarias tienen una idea precisa de cómo debe ser un tren o si simplemente quieren dejar un lienzo en blanco para el próximo artista. Pero estas obras maestras rara vez sobreviven más de unos pocos días, por lo que la mayoría de los trenes se ven iguales después. Así que mirar las líneas del tren todo el día es bastante aburrido, incluso si realmente te gustan los trenes. Pero para una IA, este es un trabajo ideal porque es imparcial y no le importa mirar las líneas del tren todo el día.
Nosotros había entrenado previamente una red neuronal artificial (ANN) para el reconocimiento de arte callejero y redujo el tamaño de la red a 1,3 MB, lo que la hace muy adecuada para el reconocimiento en tiempo real. Entonces esta ANN debería ser nuestro juez imparcial, lo que por supuesto plantea un problema ya que la elección de los datos de entrenamiento contiene sesgos inducidos por nuestros propios sesgos.
Anticipándose a este problema, la red se entrenó inicialmente con una combinación de imágenes de arte callejero y grafitis que se arrastran por la web recopilados en gran medida independientemente de la altura (o profundidad) de la creación artística en diferentes barrios de Hamburgo.
La red entrenada en esta base de datos recibió varias horas de videos de grafitis de trenes y recopiló miles de ejemplos de entrenamiento de grafitis de trenes, así como algunos divertidos falsos positivos. Dado que solo estábamos interesados en las imágenes "similares al arte callejero", usamos una combinación de activación de salida de red y espaciado de coseno entre capas para filtrar los videos y obtener las mejores tomas de todas las obras maestras en exhibición. Estos ejemplos de capacitación se agregaron a la base de datos de capacitación de la red, lo que brinda un buen punto de partida para una capacitación imparcial.
Primero colocamos una cámara con un zoom óptico de 10x conectada a una pequeña computadora de procesamiento de video (en realidad una Jetson Nano) en el segundo piso del OZMs para observar las líneas ferroviarias y enviar el video a nuestro motor de inferencia para su análisis. Así que ahora teníamos una IA que nos daba instantáneas de los grafitis en los trenes.
Solo usamos el Nano para hacer un poco de codificación de video y enviar el video a través de WiFi a nuestro pequeño motor de inferencia donde hicimos lo mismo que hicimos con los videos. Por supuesto, tuvimos algunos problemas con aspectos negativos reales que no estaban incluidos en los datos de entrenamiento, como artefactos de descompresión de video debido a la mala calidad del wifi o algunos trenes como el ICE que no estaban en la base de datos. La perspectiva de la cámara también era muy diferente de los ejemplos de entrenamiento habituales. Resolvimos esto congelando las capas de detección de características y ajustando las capas superiores de la malla con muestras adicionales recolectadas en los primeros días de prueba.
Pero no se trata solo de tomar las mejores instantáneas. También se trata de la presentación de las instantáneas, que deben mostrar nuestro respeto y agradecimiento por los trabajos presentados y el esfuerzo y compromiso que los hicieron posibles.
Queríamos añadir algo a las fotos de las obras para mostrar la relación entre los grafitis de los trenes y el arte de la OZM ser capaz de simbolizar que está hecho por artistas que han comenzado sus carreras trabajando en las líneas ferroviarias de las afueras OZM había empezado. Sólo graffiti de la OZM Confiar en las imágenes hubiera sido una tontería. Hacer nuevos grafitis para cada imagen que encontramos no hubiera sido posible por razones organizativas. De nuevo, la IA fue la solución.
Para agregar algo apropiado, entrenamos a varias IA en obras de artistas callejeros establecidos que están familiarizados con el OZM colaborar y comparar los resultados. Decidimos combinar las fotos seleccionadas con las originales. Hammerbrooklyn-Firmar un logo lleno de imágenes de los llamados “paseos latentes” de un estilo ganso2. Tal imagen se puede ver aquí en el extremo izquierdo. eso esta en el medio Hammerbrooklyn-Logo reconocible. En la instantánea, el contorno de la Hammerbrooklyn-Logos luego utilizados como plantilla para crear la imagen generada de la IA en forma de Hammerbrooklyn- "Sello" de logotipos en la instantánea.
La siguiente gran pregunta era qué instantáneas debían presentarse y cómo. Acordamos instantáneas aleatorias ordenadas por día de la semana. Sin embargo, para animar a los visitantes a explorar las imágenes, ocultamos la mayoría de las imágenes y usamos los nombres de los días de la semana como contenedores. Cuando un visitante pasa el mouse sobre una letra, esa parte se vuelve visible, pero para ver la imagen completa, los visitantes deben hacer clic en las letras.
Para que los visitantes supieran la fecha real en que se tomó la foto, se suponía que debía imprimirse en la instantánea, lo que era un poco problemático. Cada instantánea muestra obras de arte individuales, porque entendemos que OZM como espacio de arte. Así que simplemente representar la fecha con una fuente no era una opción. Un graffiti de la fecha sería la mejor solución, pero tenía que ser único. Una tercera vez la solución fue la IA.
Agregamos la fecha en forma de graffiti generado por una IA, que a su vez fue entrenada en formas de las obras de OZ. El grafiti no se parece a lo que la mayoría de la gente esperaría de OZ, famoso por sus escritos de Ozozozozoz. Pero copiar a OZ nunca fue el objetivo, sino crear un nuevo estilo fuertemente influenciado por el trabajo tardío de OZ. Cualquiera que esté familiarizado con los últimos trabajos de OZ notará la similitud.
El método toma dígitos representados en una fuente común (abajo a la derecha), los deforma y realiza una detección de límites. La imagen resultante (imagen grande de la izquierda) se alimenta a un gan pix2pix que ha sido ampliamente entrenado con formas distorsionadas extraídas de imágenes de OZ, pero con los detalles eliminados de la imagen de entrada.
Consideramos que este es un ejemplo de "AI for Good" por varias razones. Nadie perdió su trabajo. La IA recopila y conserva obras de arte que de otro modo se habrían perdido. El arte recopilado por la IA se presenta a un público más amplio. La IA es imparcial con los artistas y los estilos, por lo que nadie está en desventaja. El estilo de OZ se refleja en las imágenes para conmemorar al difunto grafitero de Hamburgo que nunca dejó de embellecer su ciudad y, por lo tanto, hizo una importante contribución a la variedad de obras que podemos admirar en los trenes hoy.
* Las instantáneas están encendidas https://onezeromore.com/ozmai-2/trainspotting/ desplegado. Le animamos a navegar por las imágenes ya que esto le permitirá disfrutar de todo el arte. También estamos lanzando una cuenta de Instagram para su dosis diaria de nuevos grafitis de trenes que llegan.
Si encuentra un grafiti particularmente atractivo que le gustaría tener en su propio tren, edificio, camión, barco, avión, etc., estaremos encantados de ayudarle. solo contáctenos.
* Por supuesto no conocemos al autor de las imágenes. Pero por lo general conocemos artistas que son capaces de crear una interpretación del graffiti muy cercana al original. (Debido a la resolución de la cámara y al tamaño del graffiti en las grabaciones, una copia 1 a 1 estaría pixelada de todos modos).
