UPThèses

De nos jours, avec le développement des nouvelles technologies multimédia, la recherche d’images basée sur le contenu visuel est un sujet de recherche en plein essor avec de nombreux domaines d'application: indexation et recherche d’images, la graphologie, la détection et le suivi d’objets... Un des modèles les plus utilisés dans ce domaine est le sac de mots visuels qui tire son inspiration de la recherche d’information dans des documents textuels. Dans ce modèle, les images sont représentées par des histogrammes de mots visuels à partir d'un dictionnaire visuel de référence. La signature d’une image joue un rôle important car elle détermine la précision des résultats retournés par le système de recherche. Dans cette thèse, nous étudions les différentes approches concernant la représentation des images. Notre première contribution est de proposer une nouvelle méthodologie pour la construction du vocabulaire visuel en utilisant le gain d'information extrait des mots visuels. Ce gain d’information est la combinaison d’un modèle de recherche d’information avec un modèle d'attention visuelle. Ensuite, nous utilisons un modèle d'attention visuelle pour améliorer la performance de notre modèle de sacs de mots visuels. Cette étude de la saillance des descripteurs locaux souligne l’importance d’utiliser un modèle d’attention visuelle pour la description d’une image. La dernière contribution de cette thèse au domaine de la recherche d’information multimédia démontre comment notre méthodologie améliore le modèle des sacs de phrases visuelles. Finalement, une technique d’expansion de requêtes est utilisée pour augmenter la performance de la recherche par les deux modèles étudiés.

Les technologies de capture et d'affichage d'images ont fait un grand pas durant la dernière décennie en termes de capacités de reproduction de la couleur, de gamme de dynamique et de détails des scènes réelles. Les caméras et les écrans à large gamme de dynamique (HDR: high dynamic range) sont d'ores et déjà disponibles, offrant ainsi plus de flexibilité pour les créateurs de contenus afin de produire des scènes plus réalistes. Dans le même temps, à cause des limitations des appareils conventionnels, il existe un gap important en terme de reproduction de contenu et d'apparence colorée entre les deux technologies. Cela a accentué le besoin pour des algorithmes prenant en compte ces considérations et assurant aux créateurs de contenus une reproduction cross-média fidèle. Dans cette thèse, nous focalisons sur l'adaptation et la reproduction des contenus à gamme de dynamique standard sur des dispositifs HDR. Tout d'abord, les modèles d'apparence colorée ainsi que les opérateurs de mappage tonal inverse ont été étudiés subjectivement quant à leur fidélité couleur lors de l'expansion de contenus antérieurs. Par la suite, les attributs perceptuels de clarté, chroma et saturation ont été analysés pour des stimuli émissifs ayant des niveaux de luminance de plus hautes gammes et ce en menant une étude psychophysique basée sur la méthode de mise à l'échelle de partitions. Les résultats expérimentaux ont permis de mener à la définition d'un nouvel espace couleur HDR efficace et précis, optimisé pour les applications d'adaptation de la gamme de dynamique. Enfin, dans l'optique de récupérer les détails perdus lors de captures d'images standard et d'améliorer la qualité perçue du contenu antérieur avant d'être visualisé sur un dispositif HDR, deux approches de correction des zones surexposées ou ayant subi un écrêtage couleur ont été proposées. Les modèles et algorithmes proposés ont été évalués en comparaison avec une vérité terrain HDR, menant à la conclusion que les résultats obtenus sont plus proches des scènes réelles que les autres approches de la littérature.

En fournissant en plus de l'information spatiale une mesure spectrale en fonction des longueurs d'ondes, l'imagerie hyperspectrale s'enorgueillie d'atteindre une précision bien plus importante que l'imagerie couleur. Grâce à cela, elle a été utilisée en contrôle qualité, inspection de matériaux,… Cependant, pour exploiter pleinement ce potentiel, il est important de traiter la donnée spectrale comme une mesure, d'où la nécessité de la métrologie, pour laquelle exactitude, incertitude et biais doivent être maitrisés à tous les niveaux de traitement. Face à cet objectif, nous avons choisi de développer une approche non-linéaire, basée sur la morphologie mathématique et de l'étendre au domaine spectral par le biais d'une relation d'ordre spectral basée sur les fonctions de distance. Une nouvelle fonction de distance spectrale et une nouvelle relation d'ordonnancement sont ainsi proposées. De plus, un nouvel outil d'analyse du basé sur les histogrammes de différences spectrales a été développé. Afin d'assurer la validité des opérateurs, une validation théorique rigoureuse et une évaluation métrologique ont été mises en œuvre à chaque étage de développement. Des protocoles d'évaluation de la qualité des traitements morphologiques sont proposés, exploitant des jeux de données artificielles pour la validation théorique, des ensembles de données dont certaines caractéristiques sont connues pour évaluer la robustesse et la stabilité et des jeux de données de cas réel pour prouver l'intérêt des approches en contexte applicatif. Les applications sont développées dans le contexte du patrimoine culturel pour l'analyse de peintures et pigments.

Les travaux réalisés dans cette thèse s'inscrivent dans le contexte du traitement d'images et de séquences d'images incluant le débruitage, la segmentation, l'inpainting et le mosaicing. Les approches proposées sont basées sur la transformée en ondelettes et les équations aux dérivées partielles. Dans le domaine de débruitage nous avons proposé des tenseurs de structure multi-échelles basés sur les transformées en ondelettes et bandelettes et capables de caractériser les contours d'images bruitées. Cela nous a conduit à la proposition de plusieurs méthodes de diffusion anisotrope et vectorielle orientée par les contours de l'image définis par ces tenseurs. Dans le domaine de segmentation, nous avons défini une méthode de segmentation par région inspirée des méthodes de l'ensemble de niveau et orientée par le tenseur de structure multi-échelles basé sur la transformée en ondelettes et une méthode de contour actif orientée par les coefficients d'ondelettes fovéales. Nous avons ensuite utilisé les grouplettes géométriques pour définir une méthode d'inpainting. La transformée en grouplettes nous a permis de recomposer correctement la géométrie multi-échelles des structures de l'image et l'information à l'intérieur de la région des données manquantes est synthétisée par une propagation de cette géométrie. Dans le domaine de traitement des séquences vidéo nous avons construit deux modèles : le premier a pour objectif le mosaicing des séquences vidéo et le second l'inpainting. Les deux modèles se basent sur la segmentation en quadtree de la transformée en bandelettes afin d'étudier les similarités entre les différentes zones des trames de la séquence. Les carrés dyadiques qui ont des propriétés géométriques similaires sont "collés" l'un à côté de l'autre pour former une mosaïque finale ou pour combler les zones manquantes. Finalement, nous avons proposé une décomposition et reconstruction en ondelettes 2D non séparables définies à partir des bases de polynômes orthogonaux et un opérateur multi-échelles de détection de contours.

L'évolution des technologies a permis le développement du multimédia et des grandes bases de données hétérogènes (textes, images, sons, vidéo, ...). Cependant cette évolution a amplifié le besoin de solutions de traitement automatique. Bien que de nombreuses années de recherche aient abouti au développement d'opérateurs de plus en plus performants, leur interopérabilité et parfois même leurs réglages restent à la charge des experts. Cette limite nuit au développement de systèmes pluri-média spécialisés et grand public. Ce travail de recherche se partage en trois parties principales. Gérer de façon automatique une chaîne de traitement d'images allant du prétraitement à la décision, impose de construire un système rétro‐bouclé. Chaque étage nécessite la conception d'informations liées à la qualité ou la précision de l'action effectuée mais aussi d'informations indiquant la pertinence de cette action selon l'objectif visé. Cette première partie s'appuie sur la Théorie de l'Evidence. Une phase intermédiaire de validation sera mise en oeuvre autour des classes d'opérateurs de calcul d'attributs et de classification. Les variabilités intrinsèques aux documents patrimoniaux et par extension aux bases multimédia introduisent la difficulté du choix d'une séquence unique d'opérateurs. Afin de décider dynamiquement de la meilleure chaîne pour le document d'entrée permettant d'atteindre l'objectif visé, le système doit pouvoir mettre en concurrence/compétition les différents opérateurs dans une même classe. Cette deuxième partie exploite les critères de précision/pertinence établis précédemment. Une validation intermédiaire sur la gestion des attributs de caractérisation des primitives graphiques et des classifieurs hiérarchiques sera utilisée. La classification se basant sur un ensemble de données, les attributs, il faut également que la chaîne de traitement manipule des opérateurs comme des analyses de texture ou de forme. Mais pour les intégrer, nous avons besoin d'en connaître la précision par l'utilité et la conservation de l'information. Ce sera la troisième grande étape, au travers de l'étude d'attributs de descripteurs de formes. Le déroulement de ce travail de thèse permettra de développer ces différents points dans le cadre d'une chaîne de traitement complète. Le cadre de travail permettra d'intégrer ces développements dans une application dédiée à l'analyse et la valorisation de documents patrimoniaux. Des éléments intermédiaires de validation seront développés pour quantifier la qualité et la stabilité des solutions proposées. Ce travail de thèse s'inscrit dans la suite de celui de D. Arrivault entre le laboratoire XLIMSIC et la société RC‐Soft, il rentre également dans le cadre des travaux dont le résultat est exploité au sein du programme des Environnements Documentaires Interactifs auxquels ont participé les deux entités.

Dans le domaine de la vision par ordinateur l'utilisation de points d'intérêt (PI) est récurrente pour les problématiques de reconnaissance et de suivi d'objets. Plusieurs études ont prouvé l'utilité de ces techniques, associant robustesse et un temps de calcul pouvant être compatible avec le temps réel. Cette thèse propose d'étudier et d'exploiter ces descripteurs de statistiques de l'image sous un tout autre regard. Ainsi, nous avons menée une étude sur le lien entre les PI et la saillance visuelle humaine. De cette étude nous avons pu développer une méthode de prédiction de carte de saillance exploitant la rapidité d'exécution de ces détecteurs. Nous avons également exploité le pouvoir descriptif de ces PI afin de développer de nouvelles métriques de qualité d'images. Grâce à des résultats encourageant en terme de prédiction de qualité perçue et la faible quantité d'information utilisée, nous avons pu intégrer notre métrique "QIP" dans une chaîne de transmission d'images sur réseau sans fil de type MIMO. L'ajout de cette métrique permet d'augmenter la qualité d'expérience en garantissant la meilleure qualité malgré les erreurs introduites par la transmission sans fil. Nous avons étendu cette étude, par l'analyse fine des statistiques structurelles de l'image et des migrations d'attributs afin de proposer un modèle générique de prédiction des dégradations. Enfin, nous avons été amenés à conduire diverses expériences psychovisuelles, pour valider les approches proposées ou dans le cadre de la normalisation de nouveaux standards du comité JPEG. Ce qui a mené à développer une application web dédiée à l'utilisation et la comparaison des métriques de qualité d'images.

L'objectif de ce travail est de proposer une solution de reconnaissance de l'impact émotionnel des images en se basant sur les techniques utilisées en recherche d'images par le contenu. Nous partons des résultats intéressants de cette architecture pour la tester sur une tâche plus complexe. La tâche consiste à classifier les images en fonction de leurs émotions que nous avons définies "Négative", "Neutre" et "Positive". Les émotions sont liées aussi bien au contenu des images, qu'à notre vécu. On ne pourrait donc pas proposer un système de reconnaissance des émotions performant universel. Nous ne sommes pas sensible aux mêmes choses toute notre vie : certaines différences apparaissent avec l'âge et aussi en fonction du genre. Nous essaierons de nous affranchir de ces inconstances en ayant une évaluation des bases d'images la plus hétérogène possible. Notre première contribution va dans ce sens : nous proposons une base de 350 images très largement évaluée. Durant nos travaux, nous avons étudié l'apport de la saillance visuelle aussi bien pendant les expérimentations subjectives que pendant la classification des images. Les descripteurs, que nous avons choisis, ont été évalués dans leur majorité sur une base consacrée à la recherche d'images par le contenu afin de ne sélectionner que les plus pertinents. Notre approche qui tire les avantages d'une architecture bien codifiée, conduit à des résultats très intéressants aussi bien sur la base que nous avons construite que sur la base IAPS, qui sert de référence dans l'analyse de l'impact émotionnel des images.

Cette thèse cherche à étudier le comportement spatio-temporel couleur du système visuel humain. Les modulations, qu'elles soient spatiales, temporelles ou spatio-temporelles des stimuli modifient notre perception des couleurs et de nombreux travaux cherchent à mesurer cette influence. C'est en vue d'une prise en compte de ces phénomènes par un modèle d'apparence couleur (CAM, de l'anglais Color Appearance Model) que ces travaux ont été réalisés. Pour répondre à ce besoin différents tests psychophysiques ont été menés. Le premier de ces tests a permis de mesurer l'influence des modulations spatiales sur la perception des couleurs dans un environnement standard. Les résultats de ce test ont été modélisés puis intégrés dans le modèle d'apparence couleur normalisé par la CIE : Le CIECAM02. Ce nouveau modèle, capable de prendre en compte des modulations spatiales, permet de corriger l'apparence de stimuli modulés spatialement à l'instar des CAMs existant. Une extension de ce modèle aux images a ensuite été réalisée. Cette extension se sert des propriétés fréquentielles de l'image afin d'en rehausser le contraste couleur et/ou d'appliquer une correction basée sur la constance de couleur. Différents tests ont été réalisés sur ce modèle et sont présentés dans ces travaux. Enfin, une mesure de l'influence des modulations spatio-temporelles a été effectuée à l'aide d'un test psychophysique. Les résultats de ce dernier permettent de mesurer l'influence de ces modulations sur notre perception des couleurs d'un stimulus dynamique. Le modèle issu de ces expériences a été intégré dans le CIECAM02 donnant naissance au ST-CIECAM02. Modèle qui peut désormais prendre en compte et corriger l'apparence couleur de stimuli vidéos. Parmi les perspectives de ce travail, nous pouvons citer une prise en compte de l'influence de l'orientation de ces modulations ainsi qu'une extension du ST-CIECAM à la correction de l'apparence de séquences vidéos.

De nombreux algorithmes de traitement d'image numérique (compression, restauration, analyse) sont basés sur une représentation en ondelettes. Les outils mathématiques disponibles étant souvent pensés pour des signaux 1D à valeurs scalaires (comme le son), ils sont mal adaptés aux signaux 2D vectoriels comme les images couleur. Les méthodes les plus répandues utilisent ces outils indépendamment sur chaque ligne et chaque colonne (méthodes « séparables »), de chaque plan couleur (méthode « marginale ») de l'image. Ces techniques trop simples ne donnent pas accès aux informations visuelles élémentaires, aboutissant à des traitements qui risquent d'introduire des artefacts rectangulaires et de fausses couleurs. Notre axe de recherche se situe autour des représentations analytiques qui utilisent un modèle oscillatoire des signaux. Ces outils de traitement du signal sont connus pour être bien adaptés à la perception humaine (auditive et visuelle), et leur extension à des dimensions supérieures est un sujet encore très actif, qui révèle des propriétés intéressantes pour l'analyse de la géométrie locale. Dans cette thèse, nous faisons une revue des ondelettes analytiques existantes pour l'image en niveaux de gris (dites complexes, quaternioniques et monogènes), et nous proposons des expérimentations qui valident leur intérêt pratique. Nous définissons ensuite une extension vectorielle qui permet de manipuler facilement le contenu géométrique d'une image couleur, ce que nous validons à travers des expérimentations en codage et analyse d'image.

Cette thèse aborde la question du traitement correct et complet de la couleur selon les contraintes métrologiques. Le manque d’approches adaptées a justifié la reformulation principaux outils de traitement d’images que sont le gradient, la détection et la description de points d’intérêt. Les approches proposées sont génériques : indépendantes du nombre de canaux d’acquisition (de la couleur à l’hyper-spectral), de la plage spectrale considérée et prenant en compte les courbes de sensibilité spectrales du capteur ou de l’œil. Le full-vector gradient nait de cet objectif métrologique. La preuve de concept est effectuée sur des images couleurs, multi et hyper-spectrales. L’extension développée pour l’analyse de la déficience visuelle ouvre également de nombreuses s perspectives intéressantes pour l’analyse du système visuel humain. Ce gradient est au cœur de la proposition d’un détecteur de points d’intérêt, lui aussi générique. Nous montrons la nécessité d’un choix mathématiquement valide de la distance entre attributs et l’importance de la cohérence de la paire attribut/distance. Une paire attribut/distance complète l’ensemble. Pour chaque développement, nous proposons des protocoles objectifs de validation liés à des générateurs d’images de synthèse explorant toute la complexité spatio-chromatique possible. Notre hypothèse est que la difficulté d’extraction du gradient/des points d’intérêts… est liée à la complexité de discrimination des distributions couleur dans la zone de traitement. Une confrontation aux approches courantes du domaine a été également mise en œuvre.