• Slidy
  • Bits stories

    De Ustensile
    Aller à : navigation, rechercher

    Workshop avec Ludi Loiseau et Nicolas Malevé

    Introduction

    Une plongée artisanale en "Computer vision".

    Comment apprend-on aux ordinateurs à voir ? De quoi se nourrit l'intelligence artificiel des robots ?

    Nous tenterons à notre échelle de sentir les méthodes et enjeux en route dans les recherches de l'université de Stanford et ailleurs.

    Computers-that-see-fei-fei-li.png

    Pratique

    Images data et plot

    Pour comparer et croiser visuellement les images suivant un ensemble de critères, nous utilisons ImagePlot(Manuel complet)

    Mode d'emploi maison :

    • Pour constituer un set de data utilisable par ImagePlot, on peut utiliser LibreOffice Calc ou Excel. Le tableau reprend les noms de fichier images dans une première colonne (intitulée "filename") et quantifie les attributs de notre choix dans les colonnes suivantes. On exporte ou sauve ensuite ce tableau au format .txt ou .csv en convertissant les délimitations de colonnes en tabulations.

    Tableau-data.png Images-data-prepare.png

    • Dézipper le paquet "imageplot-master" et lancez l'application depuis le dossier "ImageJ" : sous Windows avec le lanceur ImageJ.exe, sur mac avec "ImageJ64.app", pour Ubuntu via le terminal et la commande java -jar ij.jar
    • La barre d'outils d'ImageJ apparaît. Nous allons pouvoir lancer le plugin ImagePlot en ouvrant le fichier texte "ImagePlot.txt", donc via le menu "File" → "Open" → pointer le fichier "ImagePlot.txt" qui se trouve au premier niveau du dossier "imageplot-master".

    Imageplot01.png

    • Une fenêtre "ImagePlot.txt" s'ouvre, nous activons le plugin avec le menu "Macros" "Run macros".

    Imageplot02.png

    • La boîte de dialogue suivante nous propose de pointer le fichier de data (tableau texte croisant la liste des fichiers images avec une ensemble d’attributs, cf. point 1) et le dossier des images à distribuer. En dessous dans la liste, décocher "Polar" mais cocher "Options".

    Imageplot03.png

    • Les prochaines étapes nous permettent de paramétrer le rendu du plot. La boîte "Data column mapping" est celle où vous définissez les axes (critères de votre tableau) correspondants aux axes x et y. La boîte "Options" vous permet de choisir ce que vous souhaiter visualiser sur la surface de rendu. Ici il est important de limiter la taille du canevas (boîte "Canvas") pour ne pas qu'elle s’étende sur une surface de 20 000 pixels et demande trop de ressources à votre machine.

    Imageplot04.png Imageplot05.pngImageplot06.pngImageplot07.png

    Sources images

    Collections scientiques

    ImageNet

    Sun database

    Collections tout public

    Wikimedia commons

    The New York Public Library Digital Collections

    Galeries images de la NASA,

    Digital Comic Museum

    Rijks Museum

    Europeana

    Liens projets

    The Scandinavian Institute of Computational Vandalism Constant V - la vitrine actuelle de Constant, à visiter rue du Fort, 5 - 1060

    Cloud Face

    Land faces de Max

    cv dazzle Camouflage from face detection

    Zach Blas http://vimeo.com/57882032 http://www.zachblas.info/projects/facial-weaponization-suite/ http://www.zachblas.info/about/

    Références

    How to compare one million images? Lev Manovich

    The Scandinavian Institute for Computational Vandalism

    Guttorm Guttormsgaard archive

    Li Fei Fei, Que perçoit-on d'une scène en un coup d’œil?

    Li Fei Fei, Computers that see

    Tversky & Hemenway, Catégories de scènes environnementales

    Deep Dream, la machine à rêves psychédéliques de GoogleDeepdream generator

    When A Machine Learning Algorithm Studied Fine Art Paintings, It Saw Things Art Historians Had Never Noticed

    Outils

    Imagga, Visual Genome, ImagePlot, OpenCV