UPThèses

Les travaux réalisés dans cette thèse s'inscrivent dans le contexte du traitement d'images et de séquences d'images incluant le débruitage, la segmentation, l'inpainting et le mosaicing. Les approches proposées sont basées sur la transformée en ondelettes et les équations aux dérivées partielles. Dans le domaine de débruitage nous avons proposé des tenseurs de structure multi-échelles basés sur les transformées en ondelettes et bandelettes et capables de caractériser les contours d'images bruitées. Cela nous a conduit à la proposition de plusieurs méthodes de diffusion anisotrope et vectorielle orientée par les contours de l'image définis par ces tenseurs. Dans le domaine de segmentation, nous avons défini une méthode de segmentation par région inspirée des méthodes de l'ensemble de niveau et orientée par le tenseur de structure multi-échelles basé sur la transformée en ondelettes et une méthode de contour actif orientée par les coefficients d'ondelettes fovéales. Nous avons ensuite utilisé les grouplettes géométriques pour définir une méthode d'inpainting. La transformée en grouplettes nous a permis de recomposer correctement la géométrie multi-échelles des structures de l'image et l'information à l'intérieur de la région des données manquantes est synthétisée par une propagation de cette géométrie. Dans le domaine de traitement des séquences vidéo nous avons construit deux modèles : le premier a pour objectif le mosaicing des séquences vidéo et le second l'inpainting. Les deux modèles se basent sur la segmentation en quadtree de la transformée en bandelettes afin d'étudier les similarités entre les différentes zones des trames de la séquence. Les carrés dyadiques qui ont des propriétés géométriques similaires sont "collés" l'un à côté de l'autre pour former une mosaïque finale ou pour combler les zones manquantes. Finalement, nous avons proposé une décomposition et reconstruction en ondelettes 2D non séparables définies à partir des bases de polynômes orthogonaux et un opérateur multi-échelles de détection de contours.

Cette thèse cherche à étudier le comportement spatio-temporel couleur du système visuel humain. Les modulations, qu'elles soient spatiales, temporelles ou spatio-temporelles des stimuli modifient notre perception des couleurs et de nombreux travaux cherchent à mesurer cette influence. C'est en vue d'une prise en compte de ces phénomènes par un modèle d'apparence couleur (CAM, de l'anglais Color Appearance Model) que ces travaux ont été réalisés. Pour répondre à ce besoin différents tests psychophysiques ont été menés. Le premier de ces tests a permis de mesurer l'influence des modulations spatiales sur la perception des couleurs dans un environnement standard. Les résultats de ce test ont été modélisés puis intégrés dans le modèle d'apparence couleur normalisé par la CIE : Le CIECAM02. Ce nouveau modèle, capable de prendre en compte des modulations spatiales, permet de corriger l'apparence de stimuli modulés spatialement à l'instar des CAMs existant. Une extension de ce modèle aux images a ensuite été réalisée. Cette extension se sert des propriétés fréquentielles de l'image afin d'en rehausser le contraste couleur et/ou d'appliquer une correction basée sur la constance de couleur. Différents tests ont été réalisés sur ce modèle et sont présentés dans ces travaux. Enfin, une mesure de l'influence des modulations spatio-temporelles a été effectuée à l'aide d'un test psychophysique. Les résultats de ce dernier permettent de mesurer l'influence de ces modulations sur notre perception des couleurs d'un stimulus dynamique. Le modèle issu de ces expériences a été intégré dans le CIECAM02 donnant naissance au ST-CIECAM02. Modèle qui peut désormais prendre en compte et corriger l'apparence couleur de stimuli vidéos. Parmi les perspectives de ce travail, nous pouvons citer une prise en compte de l'influence de l'orientation de ces modulations ainsi qu'une extension du ST-CIECAM à la correction de l'apparence de séquences vidéos.

Les océans représentent la majeure partie de la surface de la planète. Couvrant plus de 70% de la surface de la Terre, l'exploration de l'environnement marin est un thème de recherche essentiel. De nombreuses technologies ont été développées afin de surveiller et de suivre l' évolution de l'environnement marin. La vision par ordinateur et le traitement d' images ont été étudiés dans ce cadre ces dernières années afin de développer de nouveaux outils pour l'océanographie. Les images acquises sous l'eau souffrent de nombreuses dégradations dues à l'environnement aquatique. Nous nous sommes intéréssé au développement de traitements prenant en compte la nature physique des phénomènes qui interfèrent lors de l'acquisition. L'exploitation d'un modèle bio-optique a permis d'établir une corrélation entre des propriétés bio-optiques et des attributs colorimétriques des images. L'inversion de la propagation de la lumière a alors été réalisée en établissant un modèle d'estimation des paramètres physiques impliqués à partir des informations colorimétriques de l'image et de mettre en oeuvre une correction complètement automatique d' images sous-marines. Dans un deuxième temps, dans un but de détection d'objets d'intérêts, nous nous sommes interessé à un critère quaternionique permettant une extraction ciblée de zones/objets possèdant une ou plusieurs caractéristiques colorométriques communes par le biais d'une définition hypercomplexe de sous-espaces couleurs basée sur la teinte. Cette méthode a été testée sur des vidéos sous-marines en réalisant une extraction de poissons de couleur unie.

L'évolution des technologies a permis le développement du multimédia et des grandes bases de données hétérogènes (textes, images, sons, vidéo, ...). Cependant cette évolution a amplifié le besoin de solutions de traitement automatique. Bien que de nombreuses années de recherche aient abouti au développement d'opérateurs de plus en plus performants, leur interopérabilité et parfois même leurs réglages restent à la charge des experts. Cette limite nuit au développement de systèmes pluri-média spécialisés et grand public. Ce travail de recherche se partage en trois parties principales. Gérer de façon automatique une chaîne de traitement d'images allant du prétraitement à la décision, impose de construire un système rétro‐bouclé. Chaque étage nécessite la conception d'informations liées à la qualité ou la précision de l'action effectuée mais aussi d'informations indiquant la pertinence de cette action selon l'objectif visé. Cette première partie s'appuie sur la Théorie de l'Evidence. Une phase intermédiaire de validation sera mise en oeuvre autour des classes d'opérateurs de calcul d'attributs et de classification. Les variabilités intrinsèques aux documents patrimoniaux et par extension aux bases multimédia introduisent la difficulté du choix d'une séquence unique d'opérateurs. Afin de décider dynamiquement de la meilleure chaîne pour le document d'entrée permettant d'atteindre l'objectif visé, le système doit pouvoir mettre en concurrence/compétition les différents opérateurs dans une même classe. Cette deuxième partie exploite les critères de précision/pertinence établis précédemment. Une validation intermédiaire sur la gestion des attributs de caractérisation des primitives graphiques et des classifieurs hiérarchiques sera utilisée. La classification se basant sur un ensemble de données, les attributs, il faut également que la chaîne de traitement manipule des opérateurs comme des analyses de texture ou de forme. Mais pour les intégrer, nous avons besoin d'en connaître la précision par l'utilité et la conservation de l'information. Ce sera la troisième grande étape, au travers de l'étude d'attributs de descripteurs de formes. Le déroulement de ce travail de thèse permettra de développer ces différents points dans le cadre d'une chaîne de traitement complète. Le cadre de travail permettra d'intégrer ces développements dans une application dédiée à l'analyse et la valorisation de documents patrimoniaux. Des éléments intermédiaires de validation seront développés pour quantifier la qualité et la stabilité des solutions proposées. Ce travail de thèse s'inscrit dans la suite de celui de D. Arrivault entre le laboratoire XLIMSIC et la société RC‐Soft, il rentre également dans le cadre des travaux dont le résultat est exploité au sein du programme des Environnements Documentaires Interactifs auxquels ont participé les deux entités.

De nombreux algorithmes de traitement d'image numérique (compression, restauration, analyse) sont basés sur une représentation en ondelettes. Les outils mathématiques disponibles étant souvent pensés pour des signaux 1D à valeurs scalaires (comme le son), ils sont mal adaptés aux signaux 2D vectoriels comme les images couleur. Les méthodes les plus répandues utilisent ces outils indépendamment sur chaque ligne et chaque colonne (méthodes « séparables »), de chaque plan couleur (méthode « marginale ») de l'image. Ces techniques trop simples ne donnent pas accès aux informations visuelles élémentaires, aboutissant à des traitements qui risquent d'introduire des artefacts rectangulaires et de fausses couleurs. Notre axe de recherche se situe autour des représentations analytiques qui utilisent un modèle oscillatoire des signaux. Ces outils de traitement du signal sont connus pour être bien adaptés à la perception humaine (auditive et visuelle), et leur extension à des dimensions supérieures est un sujet encore très actif, qui révèle des propriétés intéressantes pour l'analyse de la géométrie locale. Dans cette thèse, nous faisons une revue des ondelettes analytiques existantes pour l'image en niveaux de gris (dites complexes, quaternioniques et monogènes), et nous proposons des expérimentations qui valident leur intérêt pratique. Nous définissons ensuite une extension vectorielle qui permet de manipuler facilement le contenu géométrique d'une image couleur, ce que nous validons à travers des expérimentations en codage et analyse d'image.

Dans le domaine de la vision par ordinateur l'utilisation de points d'intérêt (PI) est récurrente pour les problématiques de reconnaissance et de suivi d'objets. Plusieurs études ont prouvé l'utilité de ces techniques, associant robustesse et un temps de calcul pouvant être compatible avec le temps réel. Cette thèse propose d'étudier et d'exploiter ces descripteurs de statistiques de l'image sous un tout autre regard. Ainsi, nous avons menée une étude sur le lien entre les PI et la saillance visuelle humaine. De cette étude nous avons pu développer une méthode de prédiction de carte de saillance exploitant la rapidité d'exécution de ces détecteurs. Nous avons également exploité le pouvoir descriptif de ces PI afin de développer de nouvelles métriques de qualité d'images. Grâce à des résultats encourageant en terme de prédiction de qualité perçue et la faible quantité d'information utilisée, nous avons pu intégrer notre métrique "QIP" dans une chaîne de transmission d'images sur réseau sans fil de type MIMO. L'ajout de cette métrique permet d'augmenter la qualité d'expérience en garantissant la meilleure qualité malgré les erreurs introduites par la transmission sans fil. Nous avons étendu cette étude, par l'analyse fine des statistiques structurelles de l'image et des migrations d'attributs afin de proposer un modèle générique de prédiction des dégradations. Enfin, nous avons été amenés à conduire diverses expériences psychovisuelles, pour valider les approches proposées ou dans le cadre de la normalisation de nouveaux standards du comité JPEG. Ce qui a mené à développer une application web dédiée à l'utilisation et la comparaison des métriques de qualité d'images.

L'extension de la morphologie mathématique au domaine de la couleur ou du multi/hyperspectral en traitement et analyse d'images n'est pas élémentaire. La majorité des approches se sont focalisées sur la formulation mathématique des opérateurs sans prendre en compte le sens physique ou perceptuel de l'information couleur/spectrale. Les outils développés dans ce travail s'inscrivent dans un nouveau formalisme générique basé sur une fonction de distance. Cette construction permet d'utiliser les opérateurs morphologiques dans le domaine de la couleur ou du multi/hyperspectral en adaptant la fonction de distance. De plus, le choix de la fonction de distance rend les opérateurs valides au sens de la perception ou de la physique. Face aux nombre croissant d'approches existantes, des critères de sélection ont été développés afin de les comparer les différentes écritures de morphologie mathématique. Ces critères sont basés sur le respect des propriétés théoriques des opérateurs, sur les propriétés métrologiques et sur l'efficacité numérique. Grâce à un formalisme prenant en compte l'information perceptuelle de la couleur et intégrant une définition valide des éléments structurants non-plats, deux types d'opérateurs de plus haut niveau ont été définis. Le premier est un détecteur d'objets spatio-colorimétrique passant par la définition d'un gabarit spatial et vectoriel. Le second, est le calcul de spectres de textures vectoriels. L'extension des deux propos au spectral a été réalisé et ouvre de nouvelles questions scientifiques.

L'objectif de ce travail est de proposer une solution de reconnaissance de l'impact émotionnel des images en se basant sur les techniques utilisées en recherche d'images par le contenu. Nous partons des résultats intéressants de cette architecture pour la tester sur une tâche plus complexe. La tâche consiste à classifier les images en fonction de leurs émotions que nous avons définies "Négative", "Neutre" et "Positive". Les émotions sont liées aussi bien au contenu des images, qu'à notre vécu. On ne pourrait donc pas proposer un système de reconnaissance des émotions performant universel. Nous ne sommes pas sensible aux mêmes choses toute notre vie : certaines différences apparaissent avec l'âge et aussi en fonction du genre. Nous essaierons de nous affranchir de ces inconstances en ayant une évaluation des bases d'images la plus hétérogène possible. Notre première contribution va dans ce sens : nous proposons une base de 350 images très largement évaluée. Durant nos travaux, nous avons étudié l'apport de la saillance visuelle aussi bien pendant les expérimentations subjectives que pendant la classification des images. Les descripteurs, que nous avons choisis, ont été évalués dans leur majorité sur une base consacrée à la recherche d'images par le contenu afin de ne sélectionner que les plus pertinents. Notre approche qui tire les avantages d'une architecture bien codifiée, conduit à des résultats très intéressants aussi bien sur la base que nous avons construite que sur la base IAPS, qui sert de référence dans l'analyse de l'impact émotionnel des images.

De nos jours, avec le développement des nouvelles technologies multimédia, la recherche d’images basée sur le contenu visuel est un sujet de recherche en plein essor avec de nombreux domaines d'application: indexation et recherche d’images, la graphologie, la détection et le suivi d’objets... Un des modèles les plus utilisés dans ce domaine est le sac de mots visuels qui tire son inspiration de la recherche d’information dans des documents textuels. Dans ce modèle, les images sont représentées par des histogrammes de mots visuels à partir d'un dictionnaire visuel de référence. La signature d’une image joue un rôle important car elle détermine la précision des résultats retournés par le système de recherche. Dans cette thèse, nous étudions les différentes approches concernant la représentation des images. Notre première contribution est de proposer une nouvelle méthodologie pour la construction du vocabulaire visuel en utilisant le gain d'information extrait des mots visuels. Ce gain d’information est la combinaison d’un modèle de recherche d’information avec un modèle d'attention visuelle. Ensuite, nous utilisons un modèle d'attention visuelle pour améliorer la performance de notre modèle de sacs de mots visuels. Cette étude de la saillance des descripteurs locaux souligne l’importance d’utiliser un modèle d’attention visuelle pour la description d’une image. La dernière contribution de cette thèse au domaine de la recherche d’information multimédia démontre comment notre méthodologie améliore le modèle des sacs de phrases visuelles. Finalement, une technique d’expansion de requêtes est utilisée pour augmenter la performance de la recherche par les deux modèles étudiés.

Ces travaux de recherche concernent la modélisation de l'information dynamique fonctionnelle fournie par les champs de déplacements apparents à l'aide de base de polynômes orthogonaux. Leur objectif est de modéliser le mouvement et la texture extraites afin de l'exploiter dans les domaines de l'analyse et de la reconnaissance automatique d'images et de vidéos. Nous nous intéressons aussi bien aux mouvements humains qu'aux textures dynamiques. Les bases de polynômes orthogonales ont été étudiées. Cette approche est particulièrement intéressante car elle offre une décomposition en multi-résolution et aussi en multi-échelle. La première contribution de cette thèse est la définition d'une méthode spatiale de décomposition d'image : l'image est projetée et reconstruite partiellement avec un choix approprié du degré d'anisotropie associé à l'équation de décomposition basée sur des transformations polynomiales. Cette approche spatiale est étendue en trois dimensions afin d'extraire la texture dynamique dans des vidéos. Notre deuxième contribution consiste à utiliser les séquences d'images qui représentent les parties géométriques comme images initiales pour extraire les flots optiques couleurs. Deux descripteurs d'action, spatial et spatio-temporel, fondés sur la combinaison des informations du mouvement/texture sont alors extraits. Il est ainsi possible de définir un système permettant de reconnaître une action complexe (composée d'une suite de champs de déplacement et de textures polynomiales) dans une vidéo.