• ENT
  • Intranet
  • Portail étudiant
  • Portail université

Outils accessibilité :

  • Accessibilité |
  • Aller au contenu |
  • Aller au menu
 

UPThèses

Recherche

Sidaty Naty

Exploitation de la multimodalité pour l'analyse de la saillance et l'évaluation de la qualité audiovisuelle

frDépôt légal électronique

Consulter le texte intégral de la thèse (format PDF)  

Couverture du document

Index

École doctorale :

  • S2IM - Sciences et ingénierie pour l'information, mathématiques

UFR ou institut :

  • UFR des sciences fondamentales et appliquées (SFA)

Secteur de recherche :

  • Traitement du signal et des images

Section CNU :

  • Génie informatique, automatique et traitement du signal

Résumé

  • Français
  • English
 

Français

Exploitation de la multimodalité pour l'analyse de la saillance et l'évaluation de la qualité audiovisuelle

Les données audiovisuelles font partie de notre quotidien que ce soit pour des besoins professionnels ou tout simplement pour le loisir. Les quantités pléthoriques de ces données imposent un recours à la compression pour le stockage ou la diffusion, ce qui peut altérer la qualité audio-visuelle si les aspects perceptuels ne sont pas pris en compte. L’état de l’art sur la saillance et la qualité est très riche, ignorant souvent l’existence de la composante audio qui a un rôle important dans le parcours visuel et la qualité de l’expérience. Cette thèse a pour objectif de contribuer à combler le manque d’approches multimodales et ce, en suivant une démarche expérimentale dédiée. Les travaux associés se déclinent en deux parties : l’attention audiovisuelle et la qualité multimodale. Tout d'abord, afin de comprendre et d’analyser l’influence de l’audio sur les mouvements oculaires humains, nous avons mené une expérimentation oculométriques impliquant un panel d’observateurs, et exploitant une base de vidéos construite pour ce contexte. L'importance des visages a ainsi été confortée mais en particulier pour les visages parlants qui ont une saillance accrue. Sur la base de ces résultats, nous avons proposé un modèle de saillance audiovisuelle basé sur la détection des locuteurs dans la vidéo et exploitant les informations de bas niveau spatiales et temporelles. Par la suite, nous avons étudié l’influence de l’audio sur la qualité multimodale et multi-­supports. A cette fin, des campagnes d’évaluations psychovisuelles ont été menées dans l’optique de quantifier la qualité multimodale pour des applications de streaming vidéo où différents dispositifs de visualisation sont utilisés.

Mots-clés libres : Saillance audiovisuelle, expérimentations oculométriques, qualité multimodale, compression.

    Rameau (langage normalisé) :
  • Saillance visuelle
  • Oculométrie
  • Modèles mathématiques
  • Qualité d'expérience (télécommunications)
  • Audiovisuel

English

Exploitation of multimodality for saliency analysis and audiovisual quality assessment

Audiovisual information are part of our daily life either for professional needs or simply for leisure purposes. The plethoric quantity of data requires the use of compression for both storage and transmission, which may alter the audiovisual quality if it does not account for perceptual aspects. The literature on saliency and quality is very rich, often ignoring the audio component playing an important role in the visual scanpath and the quality of experience. This thesis aims at contributing in overing the lack of multimodal approaches, by following a dedicated experimental procedures. The proposed work is twofold: visual attention modelling and multimodal quality evaluation. First, in order to better understand and analyze the influence of audio on humain ocular movements, we run several eyetracking experiments involving a panel of observers and exploiting a video dataset constructed for our context. The importance of faces has been confirmed, particularly for talking faces having an increased saliency. Following these results, we proposed an audiovisual saliency model based on locutors detection in video and relying on spatial and temporal low-­level features. Afterward, the influence of audio on multi-modal and multi-devices quality has been studied. To this end, psychovisual experiments have been conducted with the aim to quantify the multimodal quality in the context of video streaming applications where various display devices could be used.

Keywords : Audiovisual saliency, eye-tracking experiments, multimodal quality, compression.

Notice

Diplôme :
Doctorat d'Université
Établissement de soutenance :
Université de Poitiers
UFR, institut ou école :
UFR des sciences fondamentales et appliquées (SFA)
Laboratoire :
XLIM-SIC
Domaine de recherche :
Traitement du signal et des images
Directeur(s) de thèse :
Abdelhakim Saadane, Mohamed-Chaker Larabi
Date de soutenance :
11 décembre 2015
Président du jury :
Christine Fernandez-Maloigne
Rapporteurs :
Christophe Charrier, Frédéric Morain-Nicolier
Membres du jury :
Abdelhakim Saadane, Mohamed-Chaker Larabi, Ahmed Bouridane

  • Tweeter
  • Partager
 

Menu :

  • Rechercher par...

    • Années de soutenance
    • Auteurs
    • Directeurs de thèse
    • Écoles doctorales
    • Secteurs de recherche
    • Sections CNU
    • UFR, instituts et Écoles
    • Recherche ciblée
  • À propos d'UPthèses

    • Présentation
    • Mode d'emploi
    • Contacts
  • Voir aussi

    • theses.fr
    • Bibliothèques de l'UP
    • Sudoc

Annexe :

  • Une question ?

    Avec le service Ubib.fr, posez votre question par chat à un bibliothécaire dans la fenêtre ci-dessous :


    ou par messagerie électronique 7j/7 - 24h/24h, une réponse vous sera adressée sous 48h.
    Accédez au formulaire...
 
 

Université de Poitiers - 15, rue de l'Hôtel Dieu - 86034 POITIERS Cedex - France - Tél : (33) (0)5 49 45 30 00 - Fax : (33) (0)5 49 45 30 50
these@support.univ-poitiers.fr - Crédits et mentions légales