OZM Trainspotting
Une petite histoire "AI for Good"
Cette semaine nous avons ça OZM ajouté une nouvelle page. L'idée de collectionner les graffitis des trains est venue il y a longtemps, mais nous n'avons pas eu le temps de vraiment nous pencher dessus. Nous sommes revenus sur le sujet à plusieurs reprises, mais jamais vraiment. Jusqu'en août 2021, lorsque nous avons décidé que c'était le travail parfait pour une IA.
Il y a une injustice enracinée dans l'art qui n'est pas rare d'être abordée dans la littérature et la musique. L'art exige non seulement du talent et des compétences, mais aussi du temps. Beaucoup de temps. Pour être reconnu en tant qu'artiste, vous avez besoin de la bonne toile et de la bonne exposition afin que les gens aient la chance de voir et d'apprécier votre art (ou non). Mais une telle toile est difficile à trouver, encore moins une exposition. Les lieux d'exposition sont rares et la concurrence est féroce entre les concurrents, que la plupart d'entre eux ne jugent pas impartialement, c'est un euphémisme.
Les artistes de rue se sont rendus compte qu'ils recevaient une toile facilement disponible avec une exposition, bien que de courte durée, sous la forme du système de transport public. Bien que certains verraient peut-être « donné » comme une exagération malheureuse, voire légitime.
Pour un excellent mixage pop de vos pistes il est primordial de bien OZM a le privilège d'avoir devant sa porte l'une des lignes ferroviaires les plus achalandées. Ainsi, il a l'opportunité d'offrir une plate-forme d'exposition pour l'art de la rue en Allemagne. Si vous êtes sur le toit du OZMs assis et regardant les lignes de train, vous verrez des œuvres d'art étonnantes. On ne sait pas si les responsables des grandes compagnies ferroviaires ont une idée précise de ce à quoi doit ressembler un train, ou s'ils veulent juste fournir une toile propre au prochain artiste. Mais ces chefs-d'œuvre survivent rarement plus de quelques jours, de sorte que la plupart des trains se ressemblent par la suite. Donc, regarder les lignes de train toute la journée est assez ennuyeux, même si vous aimez vraiment les trains. Mais pour une IA, c'est un travail idéal car elle est impartiale et ne rechigne pas à surveiller les lignes de train à longueur de journée.
Nous avait précédemment formé un réseau de neurones artificiels (ANN) pour la reconnaissance des arts de la rue et réduit la taille du réseau à 1,3 Mo, ce qui le rend bien adapté à la reconnaissance en temps réel. Donc cet ANN devrait être notre juge impartial, ce qui bien sûr pose problème puisque le choix des données d'entraînement contient des biais induits par nos propres biais.
Anticipant ce problème, le réseau a été initialement formé avec un mélange de graffitis et d'images d'art de rue collectés en grande partie indépendamment de la hauteur (ou de la profondeur) de la création artistique dans différents quartiers de Hambourg.
Le réseau formé sur cette base de données s'est nourri de plusieurs heures de vidéos de graffitis ferroviaires et a collecté des milliers d'exemples d'apprentissage de graffitis ferroviaires ainsi que de drôles de soi-disant faux positifs. Comme nous n'étions intéressés que par les images "de type street art", nous avons utilisé une combinaison d'activation de sortie réseau et d'espacement cosinus intercouche pour filtrer les vidéos afin d'obtenir les meilleurs clichés de tous les chefs-d'œuvre exposés. Ces exemples de formation ont été ajoutés à la base de données de formation du réseau, offrant un bon point de départ pour une formation impartiale.
Nous avons d'abord placé une caméra avec un zoom optique 10x connectée à un petit ordinateur de traitement vidéo (en fait un Jetson Nano) au deuxième étage du OZMs pour observer les voies ferrées et envoyer la vidéo à notre moteur d'inférence pour analyse. Alors maintenant, nous avions une IA qui nous donnait des instantanés des graffitis sur les trains.
Nous n'avons utilisé le Nano que pour effectuer un encodage vidéo et envoyer la vidéo via WiFi à notre petit moteur d'inférence où nous avons fait la même chose que nous avons fait avec les vidéos. Bien sûr, nous avons eu quelques problèmes avec de vrais négatifs qui n'étaient pas inclus dans les données d'entraînement, comme les artefacts de décompression vidéo dus à une mauvaise qualité du wifi ou certains trains comme l'ICE qui n'étaient pas dans la base de données. La perspective de la caméra était également très différente des exemples de formation habituels. Nous avons résolu ce problème en gelant les couches de détection de caractéristiques et en ajustant les couches supérieures du maillage avec des échantillons supplémentaires collectés au cours des premiers jours de test.
Mais il ne s'agit pas seulement de prendre les meilleurs clichés. Il s'agit également de la présentation des instantanés, qui doivent montrer notre respect et notre appréciation pour les œuvres présentées et l'effort et l'engagement qui les ont rendues possibles.
Nous voulions ajouter quelque chose aux photos des œuvres pour montrer la relation entre les graffitis sur les trains et l'art de la OZM pouvoir symboliser la fabrication par des artistes qui ont commencé leur carrière en travaillant sur les voies ferrées juste à l'extérieur OZM a commencé. Seuls les graffitis du OZM se fier aux photos aurait été boiteux. Faire de nouveaux graffitis pour chaque image que nous trouvons n'aurait pas été possible pour des raisons d'organisation. Encore une fois, l'IA était la solution.
Pour ajouter quelque chose d'approprié, nous avons formé diverses IA sur des œuvres d'artistes de rue établis qui connaissent le OZM collaborer et comparer les résultats. Nous avons décidé de combiner les photos sélectionnées avec l'original Hammerbrooklyn-Signer un logo rempli d'images de soi-disant « promenades latentes » d'une oie de style2. Une telle image peut être vue ici à l'extrême gauche. C'est au milieu Hammerbrooklyn-Logo reconnaissable. Sur l'instantané, le contour de la Hammerbrooklyn-Logos ensuite utilisés comme modèle pour créer l'image générée de l'IA sous la forme du Hammerbrooklyn- Logos "Stamp" dans l'instantané.
La prochaine grande question était de savoir quels clichés devaient être présentés et comment. Nous nous sommes mis d'accord sur des clichés aléatoires triés par jour de la semaine. Cependant, pour encourager les visiteurs à parcourir les images, nous avons masqué la plupart des images et utilisé les noms des jours de la semaine comme conteneurs. Lorsqu'un visiteur passe la souris sur une lettre, cette partie devient visible, mais pour voir l'ensemble de l'image, les visiteurs doivent cliquer sur les lettres.
Afin de permettre aux visiteurs de connaître la date réelle à laquelle la photo a été prise, elle était censée être imprimée sur l'instantané, ce qui était un peu problématique. Chaque instantané montre des œuvres d'art individuelles, car nous comprenons que OZM comme espace artistique. Donc, simplement rendre la date avec une police n'était pas une option. Un graffiti de la date serait la meilleure solution, mais il devait être unique. Une troisième fois, la solution était l'IA.
Nous avons ajouté la date sous la forme d'un graffiti généré par une IA, qui à son tour a été entraînée sur les formes des œuvres d'OZ. Le graffiti ne ressemble pas à ce que la plupart des gens attendraient d'OZ, qui était célèbre pour ses écrits sur Ozozozozoz. Mais copier OZ n'a jamais été le but, plutôt créer un nouveau style fortement influencé par les derniers travaux d'OZ. Toute personne familière avec les œuvres tardives d'OZ remarquera la similitude.
La méthode prend des chiffres rendus dans une police commune (en bas à droite), les déforme et effectue une détection de limite. L'image résultante (grande image de gauche) est transmise à un gan pix2pix qui a été largement formé avec des formes déformées extraites d'images d'OZ, mais avec le détail supprimé de l'image d'entrée.
Nous considérons cela comme un exemple d'"IA for Good" pour plusieurs raisons. Personne n'a perdu son emploi. L'IA collecte et préserve l'art qui aurait autrement été perdu. L'art collecté par l'IA est présenté à un public plus large. L'IA est impartiale envers les artistes et les styles, donc personne n'est désavantagé. Le style d'OZ se retrouve dans les images pour commémorer le défunt graffeur de Hambourg qui n'a jamais cessé d'embellir sa ville et a ainsi apporté une contribution importante à la variété des œuvres que nous pouvons admirer dans les trains aujourd'hui.
* Les instantanés sont activés https://onezeromore.com/ozmai-2/trainspotting/ affiché. Nous vous encourageons à parcourir les images car cela vous permettra de profiter de tout l'art. Nous lançons également un compte Instagram pour votre dose quotidienne de nouvelles arrivées de graffitis sur les trains.
Si vous trouvez un graffiti particulièrement attrayant que vous aimeriez avoir sur votre propre train, bâtiment, camion, bateau, avion, etc., nous sommes heureux de vous aider. Contactez-nous.
* Bien sûr, nous ne connaissons pas l'auteur des photos. Mais généralement, nous connaissons des artistes capables de créer une interprétation du graffiti très proche de l'original. (En raison de la résolution de la caméra et de la taille des graffitis sur les enregistrements, une copie 1 à 1 serait pixélisée de toute façon).
