Logo du CNRS Le Journal Logo de CSA Research

Grande enquête « CNRS Le Journal »

Votre avis nous intéresse.

Le CNRS a mandaté l’institut CSA pour réaliser une enquête de satisfaction auprès de ses lecteurs.

Répondre à cette enquête ne vous prendra que quelques minutes.

Un grand merci pour votre participation !

Grande enquête « CNRS Le Journal »

Sections

Faciliter la traduction en langue des signes

Faciliter la traduction en langue des signes

03.11.2017, par
Séance d'acquisition d'un corpus de LSF avec un système de capture du mouvement.
Des linguistes et des informaticiens tentent de modéliser la langue des signes française pour la traduire vers le français écrit et inversement. Objectif : faciliter l'accès des personnes sourdes aux informations et aux savoirs.

Depuis quelques années, la langue des signes française (LSF) est entrée en gare. Des chercheurs du Laboratoire d’informatique pour la mécanique et les sciences de l’ingénieur (Limsi) du CNRS, ont conçu pour la SNCF et en collaboration avec la société Websourd1, un logiciel permettant de générer en temps réel des énoncés par l’intermédiaire d’un avatar signant affiché sur des écrans dans les gares. Un premier pas pour faciliter au quotidien l’accessibilité et la mobilité des personnes sourdes et malentendantes… Qui en appelle d’autres.
 

Un avatar virtuel signe en temps réel des énoncés informatifs dans une gare SNCF.

À propos
Fermer
Année de production: 
2017
Réalisateur: 
LIMSI
Producteur: 
LIMSI

Une accessibilité médiatique insuffisante

En France, ce sont plus de 100 000 personnes qui pratiquent la langue des signes. Reconnue officiellement par la loi en 20052, la LSF joue pour les personnes sourdes et malentendantes le rôle de la langue orale. Mais les défauts de formation en LSF pour les jeunes sourds3 rendent encore difficile l'apprentissage de la lecture et du français écrit. Et le constat est préoccupant : le français écrit serait mal maîtrisé par la majorité des adultes sourds.
 

La langue des signes permet à la fois de communiquer des informations de nature symbolique et de nature illustrative.

L’accessibilité numérique des sites Internet et des émissions télévisées à l'attention des publics sourds est encore insuffisante, les privant d’un accès égal à une formation et aux informations. Les principales initiatives se limitent au sous-titrage en français écrit, ou à de rares interprétations en LSF par des professionnels, visualisées sous forme de petit médaillon4.

« Il est donc indispensable de produire davantage de contenus en langue signée. D'où l'intérêt de développer des outils informatiques facilitant la création et la manipulation de ces contenus », estime Annelies Braffort, directrice de recherche au Limsi, qui travaille à la modélisation du langage signé et à son traitement automatique.
 

Une langue à part entière

Mais la tâche est loin d’être aisée. « La LSF n’est pas un “braille gestuel“ équivalent au code tactile utilisé par les personnes aveugles. Elle n’est pas non plus un code gestuel du français ou un code universel. C’est une langue naturelle qui a son propre système linguistique, sa grammaire et son lexique. » La LSF est une langue à part entière et particulière : une langue visuo-gestuelle qui permet de montrer des choses tout en les disant. « La langue des signes permet à la fois de communiquer des informations de nature symbolique et de nature illustrative. Elle possède toutes les propriétés des langues vocales : on peut tout dire dans tous les registres, que ce soit concret ou abstrait, de la poésie, de l'humour ou des débats politiques », poursuit Annelies Braffort.
 

La langue des signes française est reconnue comme une langue à part entière depuis 2005. Mais faute d’enseignement de et en LSF à l’école, le taux d’illettrisme serait particulièrement élevé dans la population d’adultes sourds. Seuls 5 % des jeunes sourds accèdent à l’enseignement supérieur.
La langue des signes française est reconnue comme une langue à part entière depuis 2005. Mais faute d’enseignement de et en LSF à l’école, le taux d’illettrisme serait particulièrement élevé dans la population d’adultes sourds. Seuls 5 % des jeunes sourds accèdent à l’enseignement supérieur.

Une traduction complexe

À l’interface de l’informatique, de la linguistique et de la science du mouvement, la traduction automatique de ou vers la LSF n’emprunte ni les mêmes méthodes ni les mêmes outils que pour les langues parlées. En effet, ce qui pourrait paraître simple pour la transcription d’une langue écrite à une autre, par exemple, de l’anglais au français et inversement, se complique d’une langue écrite à une langue alliant gestes, postures, mimiques et autres jeux de regards. Dès lors, comment produire ou transcrire une langue visuo-gestuelle ? « Il nous faut faire sauter plusieurs verrous, en commençant par la création de ressources linguistiques, souligne Annelies Braffort.

Ce logiciel d’annotation permet d’analyser et schématiser un discours en LSF. Constitué de vidéos et de données en capture de mouvement, il permet une modélisation plus fine de la langue des signes.
Ce logiciel d’annotation permet d’analyser et schématiser un discours en LSF. Constitué de vidéos et de données en capture de mouvement, il permet une modélisation plus fine de la langue des signes.

« Une des difficultés pour constituer ces corpus, c’est qu’il n’existe pas pour la LSF d’équivalent au micro pour la parole. On utilise principalement la vidéo, qui ne capte que dans un plan vertical, alors que la LSF se déploie dans l'espace. On ne dispose donc que de données parcellaires, qu'il nous faut ensuite analyser. La LSF est une langue encore peu décrite. »
 

Notre objectif général est de représenter de manière formelle le fonctionnement de la langue des signes française, ses éléments et ses règles.

Il s’agit donc d’analyser le mouvement pour en faire émerger une grammaire, puis de la modéliser en prenant en compte ses différents articulateurs (mains, bras, buste, épaules, tête, regard, sourcils, joues…). Enfin, les chercheurs développent des systèmes qui permettront des traitements automatiques. « Notre objectif général est de représenter de manière formelle le fonctionnement de la langue des signes française, ses éléments et ses règles. Ces représentations doivent nous permettre, par exemple, de générer des énoncés et produire automatiquement des animations en LSF via un signeur virtuel. »

La chercheuse et son équipe développent par ailleurs un logiciel d'aide à la traduction de brèves AFP vers la LSF à travers des animations de signeurs virtuels. Pour cela, il faut lever un verrou bien particulier, celui du style journalistique qui nécessite d’étudier davantage certaines structures linguistiques comme l'organisation spatiale du discours ou la succession des événements temporels.
 

Traduction d’une brève journalistique vers la langue des signes.

À propos
Fermer
Année de production: 
2017

Et si la traduction automatique reste encore hors de portée, « nous envisageons des logiciels de traduction assistée par ordinateur (TAO), pour les traducteurs en LSF. Un logiciel qui leur faciliterait la tâche, par exemple avec des systèmes de mémoire de traduction, des bases terminologiques… », détaille Annelies Braffort. La chercheuse travaille également au développement d’outils d’aide à la reconnaissance automatique de geste et explore l'utilisation de nouveaux dispositifs pour étudier la LSF. « Nous avons récemment expérimenté un système de capture des mouvements utilisé pour les jeux vidéo ou les films d’animation. Cela nous permettra d’analyser les gestes en 3D ! » s’enthousiasme-t-elle. En dépit des progrès apportés par l’intelligence artificielle en général, et par le « deep learning » en particulier, les chercheurs sont encore loin d’avoir totalement appréhendé la complexité des gestes humains. Malgré des défis difficiles à relever, la traduction automatique progresse et va continuer de s’améliorer. Avec pour objectif la réduction des barrières de communication et d'accès aux informations des citoyens sourds.

 
Notes
  • 1. Websourd, société coopérative d’intérêt public toulousaine, a depuis fermé ses portes, en 2015.
  • 2. La langue des signes fut interdite dans le milieu scolaire de 1880 à 1991.
  • 3. En France, on estime à près de 5 millions le nombre de personnes sourdes et malentendantes.
  • 4. Le Conseil supérieur de l’audiovisuel est chargé de veiller à ce que les obligations fixées par la loi concernant le sous-titrage et l'interprétation en LSF soient respectées : sous-titrage obligatoire pour les chaînes de TV dont l’audience moyenne annuelle est supérieure à 2,5 % de l’audience totale, quelques émissions seulement pour l'interprétation en LSF.

Commentaires

1 commentaire

bonjour je suis malentendante et j'aimerais trouver un lexique de vocabulaire sur les termes utilisés lors du journal télévisé. Est ce que vous pouvez m'aider ou me conseiller ? Je ne trouve pas de livres lsf s'y référencant. Merci beaucoup de m'aider ou de me conseiller. Bien cordialement
Pour laisser votre avis sur cet article
Connectez-vous, rejoignez la communauté
du journal CNRS