Mots d'images

Petite récréation iodée pour revenir sur le travail admirable du photographe Laurent Thion. Les panoramas sphériques qu’il réalise font toujours montre d’une technique très maitrisée. Les points de vue sont toujours pertinents, les interfaces de présentation sont des modèles du genre, permettant au spectateur de bien se situer pour transformer la visite en évènement. Dans sa dernière création, consacrée à l’île de Groix, on croit entendre les cris des goélands et sentir le vent gonfler sa chemise. La perspective d’un plateau d’huîtres n’est pas très éloignée... Sur son site ecliptique.com vous retrouverez bon nombre de ses panos ainsi que quelques vues en HD, dont celle étonnante du Leica de Jean Loup Sieff, dont je reprends un détail ci-dessus. J’avais déjà parlé de Laurent Thion dans cet article. (via Urbanbike, merci ;-)

Rien n’arrête le progrès ! Les avancées récentes des technologies de recherche d’images par l’image ont rencontré celles de la reconnaissance faciale pour donner le jour à des champs d’application nouveaux qui, en plus d’afficher des résultats, opèrent des modifications de fichiers automatisées. Les moteurs de recherche d’images par l’image ont déjà été évoqués ici avec TinEye, mais d’autres sociétés travaillent sur le sujet. La reconnaissance faciale est utilisée depuis quelques années sur des caméras numériques et les mêmes technologies sont appliquées aujourd’hui sur des services en ligne. Une des sociétés actives dans ce domaine est sur le point de lancer un procédé remarquable de floutage facial : AnonymYou. De plus en plus de personnes sont soucieuses de leur anonymat ou de la maitrise de leur image. AnonymYou leur propose de rendre méconnaissables toutes les occurrences de portraits demandées. Le service, qui est actuellement en phase de test, en version beta privée, vise à devenir le 1er système d’anonymisation en ligne.

Toute personne, célèbre ou anonyme, a un droit absolu à disposer de son image. Le droit à l’image est de plus en plus pris au sérieux par les tribunaux dans le monde et les infractions peuvent coûter cher. Comme tout téléspectateur peut le vérifier chaque soir, le floutage de sujets sensibles est devenu une opération des plus banales. Elle n’a cependant rien d’automatique, car elle est toujours le résultat d’une décision prise dans les rédactions après une prudente pesée d’intérêts où les commerciaux le disputent aux légistes. Une partie de ces floutages sera bientôt prise en charge par des logiciels. Dans un premier temps, ce sont les portraits accessibles sur le web qui seront floutés. Chacun pourra faire partie d’une sorte de liste rouge pour accéder à un floutage automatique de ses apparitions sur internet.

Le service en ligne sera gratuit pour tout internaute individuel, après inscription et soumission d’un minimum de 5 portraits différents de soi. Les auteurs du logiciel tablent, pour l’instant, sur une efficacité de 85%, avec 10% de faux positifs (ce qui peut poser quelques problèmes !). AnonymYou sera également disponible sous forme de plug-in pour Firefox. Pour les pipole, une recherche bimodale (texte + image) sera mise en oeuvre. Considérant que les célébrités disposent déjà sur la toile d’une importante base d’images taguées à leur nom, AnonymYou intégrera ces données dans un nouvel algorithme atteignant une efficacité approchant les 98% et 1% de faux positifs. Ce service-là sera payant (on ne nous dit pas s’il sera calculé au prorata des portraits floutés ou selon d’autres conventions !).

Le principe de fonctionnement d’AnonymYou est simple : après leur soumission, les portraits sont analysés et convertis en une empreinte digitale composite qui est comparée aux index des principaux moteurs de recherche. Les images trouvées sont ensuite floutées à la volée sur de puissants serveurs (dont l’emplacement est tenu secret), puis elles sont réinjectées dans les bases de données d’où elles proviennent. Cette procédure à un grand avantage : il n’est pas nécessaire que ses promoteurs se constituent leur propre index avant de pouvoir prétendre à un minimum d’efficacité. Par contre, il faut obtenir la « collaboration » des moteurs de recherche visés. Google ayant déjà donné son accord - moyennant une exploitation des résultats dont le principe n’a pas été divulgué - les autres moteurs de recherche ne devraient pas refuser longtemps d’intégrer ce service. FaceBook, qui comme Google dispose déjà de son propre système de reconnaissance faciale, hésite encore à se rallier. Pourtant, en proposant ce service alternatif, ils pourraient faire face à de nombreuses critiques concernant des problèmes de protection de la sphère privée...

J’ai été invité à tester l’efficacité du système durant une semaine. Elle est assez redoutable pour les pipole et cela peut se comprendre vu la relative facilité de leur identification. Les stars de cinéma, de la TV et du showbiz en général obtiennent des résultats proches de 100%. Reste à savoir si elles tiennent vraiment à voir leur image disparaitre... (Quand on voit les dédommagements coquets obtenus par certain-e-s pour des photos publiées sans autorisation, on peut les comprendre ;-) Il n’en va pas de même pour les politiques, qui à part quelques notables, toujours bronzés et soucieux de leur image, obtiennent des résultats bien en dessous (env 70%) de celles des vraies stars, celles qui font rêver les foules. En ce qui me concerne, moi heureux anonyme, les résultats ont été encore bien moins performants. Mais je ne suis pas un bon exemple, je suis peu visible et ne suis même pas sur Facebook !

Dans une prochaine étape, en cours d’évaluation, un module AnonymYou2 sera intégré à une puce équipant les caméras d’une chaîne de télévision publique au Canada. Les informations sur la puce seront mises à jour en continu, afin que rien de ce qui est interdit ne puisse échapper au filtre. Cela introduira certes une distorsion de la concurrence avec les chaines commerciales, mais gageons que le législateur veillera à corriger ces effets, en attendant que toutes les chaines soient équipées. L’ultime étape à venir sera l’intégration de cette puce dans les appareils de prises de vues numériques. Elle sera mise à jour à chaque fois que la carte mémoire sera connectée à un ordinateur. Mais là il faudra patienter un peu, car les pourparlers avec les principaux fabricants d’APN et de portables viennent à peine de commencer. Ils achoppent pour l’instant sur la définition de standards acceptables, qualité indispensable à l’efficacité du système. (D’après certaines sources, il semblerait que les ingénieurs de Redmond se soient déjà inspirés des spécifications d’AnonymYou pour créer leurs propres « standards » !)

On peut bien sûr se demander si ce service est approprié et s’il n’engendrera pas de dérives malveillantes. Mais le droit à l’image étant ce qu’il est, il sera de plus en plus difficile d’échapper à une course technologique qui - une fois n’est pas coutume - va dans le sens du droit. On peut néanmoins pressentir que la pilule sera difficile à faire passer chez les photographes. Qui voudra encore d’appareils photo munis d’une « liste rouge » embarquée ? Les amateurs courront le risque de voir se flouter les portraits d’amis soucieux de la protection de leur sphère privée. Les professionnels - qui n’en demandaient pas tant - verront s’envoler une partie de leurs revenus par la grâce de quelques pipole sur « liste rouge », réservant quelques fois leur image à une élite de photographes dociles et triés sur le volet. On verra aussi qui est véritablement prêt à disparaitre des écrans... gageons qu’il y aura bien des hésitations !

TinEye est le premier moteur de recherche qui utilise des technologies d’identification d’images pour rechercher des images sur le net. Cela signifie que les critères de recherche ne sont pas textuels (mots clés), mais constitués d’images (des ensembles de pixels). Concrètement, si vous lui soumettez une image, le logiciel vous ramènera toutes les occurrences de cette image qu’il connait, même si elles ont été modifiées ou recadrées. Il utilise pour cela un algorithme produisant une empreinte digitale de l’image recherchée qui est ensuite comparée à l’index. Lancé en mai 2008 par la société canadienne Idée Inc, ce service est passé maintenant en version beta publique. Depuis son lancement, il a continué à indexer le web pour agrandir sa base de données, seul moyen de gagner de l’efficacité. Le système est utilisable gratuitement par tout internaute, il suffit de s’inscrire ici. TinEye propose aussi l’installation d’un plug-in et/ou d’un bookmarklet, qui permet de procéder à une recherche d’image en un seul clic à partir de votre browser.

Mais quelle est donc l’utilité de ce service ?

La première est sans conteste la possibilité pour les auteurs (les photographes, graphistes, etc) ou les détenteurs de droits (banques d’images, archives, etc), de traquer les vols d’images sur internet. Plus subtilement, cela peut aussi aider à trouver les sources, l’origine d’une image, son histoire et sa manière d’être présente sur internet (mais l’internet, ce n’est qu’une partie du monde ;-) Pour le reste, faisons confiance au « génie humain » pour découvrir de nombreuses autres applications que celles prévues par le logiciel...

Quelle en est l’efficacité ?

Globalement - sur des images connues ! - l’effet est assez bluffant. L’efficacité des algorithmes utilisés et la vitesse de traitement sont surprenantes. TinEye est capable de retrouver des images même recadrées, redimensionnées, recolorées, retouchées, voire « photomontées ». Il est capable aussi - son algorithme semble très performant pour cela - de rechercher des graphismes bien définis, comme des logos commerciaux. Les pages Cool Searches et Widgets, d’où je tire l’exemple ci-dessus, présentent des exemples de recherche très éloquents... mais n’oubliez pas que ce sont des pages à caractère publicitaire pour lesquelles on a sélectionné les exemples « qui vont bien » !

Quelles en sont les limites ?

On entrevoit rapidement que l’efficacité du système est en relation directe avec l’étendue de sa base de données. TinEye annonce avoir engrangé plus d’un milliard de photos dans son index. C’est sûrement bien moins que Google. [1] Mais leurs robots continuent de parcourir le net pour indexer des images. Vous pouvez d’ailleurs leur demander d’aller visiter un site (le vôtre, par exemple). Je l’ai fait il y a 3 jours et depuis j’attends toujours le passage du robot ;-) Il est fort probable que les petits sites ou les sites à faible trafic ne soient pas visités en priorité...
En admettant qu’ils réussissent à construire un index suffisamment étendu pour être plus que représentatif il restera toujours des zones non explorées qui constituent autant de doutes pour l’auteur d’une recherche : les images en Flash ne sont pas prises en compte tout comme celles figurant sur des pages que les robots [2] ne sont pas autorisés à visiter. Les pirates ont donc toujours une longueur d’avance sur les gendarmes ;-)

Combien ça coûte ?

Le logiciel se présente actuellement en version beta publique pour laquelle on doit s’inscrire. Nous ne pouvons donc pas savoir si le service va devenir payant, car TinEye est peu disert sur la question. Seul un usage commercial à venir est évoqué. Il consistera en un service de veille sur un ensemble d’images avec envoi de notification au demandeur en cas de succès. Cette fonction devrait intéresser les petites et moyennes entreprises. (De grands comptes comme l’AFP ou Associated Press bénéficient déjà de solutions spécifiques fournies par d’autres logiciels de la même firme.) On peut espérer que cela permettra de laisser le libre accès aux petits usagers occasionnels.

TinEyes montre une nouvelle direction pour les moteurs de recherche d’images en élargissant le champ des possibles. Il peut sembler bizarre que Google ne soit pas sur ce coup là. Mais il est peut-être déjà sur le coup suivant... TinEyes est, somme toute, dans un créneau bien spécifique, car il n’identifie pas les objets, mais « seulement » les formes essentielles d’une image. C’est ce qui le rend très performant pour découvrir les multiples variantes d’une même image. Les grandes étapes à venir pour la recherche d’images seront probablement l’identification d’images d’objets, puis de personnes, le tout éventuellement en combinaison avec du texte... mais ce n’est pas pour tout de suite.

Attention, ce jeu (est-ce un jeu ?) n’est pas forcément drôle, car il peut vous révéler de piètres performances visuelles... et si vous vous occupez d’images cela pourrait vous déstabiliser. C’est donc non sans une légère appréhension que je m’y suis attaqué : 0 faute, ouf ! Je ne suis pas condamné au noir/blanc pour le restant de mes jours ;-) Il s’agit de déplacer les carrés de couleurs, dans chaque bandeau, pour les ranger en dégradé entre les deux couleurs de référence qui sont fixées à chaque extrémité des bandeaux. Allez-y... mais ne venez pas pleurer après en disant que votre écran est tout pourri et qu’il était mal réglé ;-)
(Via The Online Photographer)

Pour en savoir plus, on lira utilement :
• Notions de base sur la couleur, dont la conclusion est : « ...Tout ce processus naturel, massivement parallèle est difficilement reproductible par des moyens artificiels. Ceci fait donc la différence entre les hommes et les ordinateurs. Pourtant, l’avantage des systèmes automatique d’analyse de la couleur est la reproductibilité et l’objectivité des mesures. En effet, chaque individu étant unique, son interprétation de la couleur est également unique. De plus, le système visuel n’est pas exempt d’erreur : le daltonisme, résultat d’une mutation, montre la vulnérabilité de la physiologie humaine. Mais finalement, ce que nous définissons comme "voir" est en fait une construction du cerveau : la mémoire et "l’apprentissage" jouent un rôle majeur dans la vision. Ceci suscite une question importante d’ordre philosophique : qu’est-ce vraiment que la couleur ? »
• Le toujours excellent site dédié à la couleur : pourpre.com

Je reprends une illusion d’optique, bien connue, due à Edward H. Adelson, car elle met en lumière certains effets du contraste local. Cette illusion illustre parfaitement le fait que notre système visuel est bien plus sensible à la valeur relative de la luminosité qu’à sa valeur absolue, comme je l’expliquais dans mon précédent article sur le contraste local. Autrement dit - et c’est E.H. Adelson qui le relève - notre oeil serait un bien mauvais posemètre ! En effet, pour bien comprendre la nature des objets qui nous entourent, notre système visuel doit pouvoir interpréter subtilement les différences de luminosité, même si cela doit se faire au détriment d’une mesure correcte de la luminosité absolue.
Dans l’image ci-dessous, les 2 carrés A et B nous apparaissent chacun d’un gris bien différencié de l’autre...

En réalité, ils sont exactement du même gris !!
Tout le monde est surpris et reste sceptique à cet énoncé. Passez la souris sur l’image pour voir l’évidence : les 2 bandes verticales ajoutées sont du même gris que les 2 carrés et prouvent qu’ils sont bien de la même couleur. Mais comment cela se fait-ce ? E.H. Adelson nous fournit des explications (que j’adapte librement) :
Pour déterminer la nature des objets observés, notre système visuel ne peut se contenter de mesurer leur luminance. Dans notre exemple, une ombre portée modifie la valeur de gris réfléchie par certains carrés du damier. Le système visuel utilise plusieurs stratégies pour compenser cet effet :
• Une première approche est basée sur le contraste local (le revoilà). Chaque carré est comparé à ses voisins immédiats. Un carré entouré d’autres plus foncés est jugé « blanc », alors qu’un autre, entouré de carrés clairs est jugé « noir ». Et cela qu’il y ait une ombre portée ou pas.
• Le système visuel tend à ignorer les changements graduels de luminosité (celle de l’ombre portée), lui préférant les limites nettes (celle des carrés). Les ombres ayant souvent des bords flous, leur perception est de ce fait diminuée au profit du dessin précis des carrés. Ici, l’effet d’ombre portée est d’autant mieux perçu que l’objet qui le produit est visible dans l’image.
• Le damier est reconnu comme un ensemble géométrique où 2 tons différents alternent régulièrement. La couleur de chaque carré est prévisible et ne saurait donc « mentir ».

Cela doit nous rendre attentifs à la construction des images et à leur fonctionnement qui peut parfois nous échapper. Je ne parle évidemment pas, ici, de la portée conceptuelle ou métaphorique des images, mais de la perception primaire des « objets » qu’elles sont sensées représenter. Une représentation dénuée d’ambiguïtés dans la forme me semble un prérequis nécessaire pour qu’une image puisse délivrer son fond. (À moins que l’ambiguïté ne soit expressément recherchée ! Mais cela ne me semble pas toujours être le cas ;-)

Edward H. Adelson est Professor of Vision Science - Dept. of Brain and Cognitive Sciences - Massachusetts Institute of Technology (MIT). Il présente ici son illusion d’optique. Sur ce document (Lightness Perception and Lightness Illusions) il nous expose en détail et à l’aide de nombreuses illusions d’optique sa théorie de la perception de la luminance. Si vous avez aimé cela, vous trouverez d’autres illusions d’optique ici. Et si décidément l’été se fait pluvieux, en voici d’autres encore.

PS 1 : Les sceptiques qui n’en croient toujours pas leurs yeux - il en reste, je le sais ! - sont en général les mêmes qui ne croient pas que la lune a le même diamètre à son lever qu’au plus haut dans le ciel... (Tentative de) persuasion ici.

PS 2 : Dans ce billet, je vous ai parlé de 2 carrés et vous avez très bien compris que je désignais en réalité des parallélogrammes qu’on peut voir sur l’image... Autre exemple de l’interprétation que nous faisons de ce que nous voyons ;-)