Priyanjali Gupta révolutionne le langage des signes

« Si nous n’avions point de voix ni de langue et que nous voulussions nous montrer les choses les uns aux autres, n’essaierions-nous pas, comme le font en effet les muets, de les indiquer avec les mains, la tête et le reste du corps ? » C’est ainsi que le philosophe antique Platon définit pour la première fois le langage des signes.

Cette nécessité de communication a été comprise récemment par la jeune indienne Priyanjali Gutpa. Elle a eu l’ingénieuse idée d’adapter une Intelligence Artificielle capable de traduire en direct le langage des signes américain (LSA).

Une histoire de langues

A l’image des langues parlées dans le monde, il existe plusieurs langues des signes. Elles possèdent leurs propres gestes individuels et des grammaires indépendantes. Il en existe environ 200 dans le Monde. Bien que l’origine reste mystérieuse, ce langage existe depuis l’Antiquité lorsque les sourds se sont regroupés pour former de petites communautés. Ensuite, au Moyen-Age les Moines qui avaient fait vœu de silence développèrent une gestuelle pour communiquer entre eux. Ils accueillaient les sourds dans leur monastère où ils enseignaient ce langage. En 1756, c’est l’Abbée Charles-Michel de l’Épée qui institutionnalise cette technique de communication pour la Langue des Signes Française (LSF). Il est alors le premier à créer une véritable école pour les sourds.

Une création virale dès sa mise en ligne

Priyanjali Gupta est une jeune tamoule âgée de 20 ans. Elle est étudiante en troisième année d’ingénierie informatique à la “Vellore Institute of Technology” située au Tamil Nadu en Inde.

Début Février 2022, Priyanjali publie sur le site de LinkedIn une vidéo où on la voit utiliser sa propre invention.
On la voit apparaitre sur l’écran en noir et blanc. Elle commence à bouger ses bras et ses mains devant la caméra. Apparait alors instantanément un cadre vert qui entoure sa main. Au dessus de celui-ci s’affiche un mot avec un poucentage. Ainsi, le logiciel reconnait le geste qui correspond à un “signe” et le traduit. Dans la vidéo, Priyanjali signe des mots simples comme par exemple : “hello” (bonjour); “yes” (oui); “no” (non); “I love you” (je t’aime), “please” (s’il vous plaît) et “thanks” (merci). Le logiciel indique également le taux de fiabilité de la traduction. Cette invention est toujours en phase de développement pour traduire un maximum de mots.

Cela n’a pas empêché son logiciel de créer la ferveur sur les réseaux sociaux. Sur LinkedIn, son post de démonstration reçoit plus de 66 000 likes et quelques 1 400 commentaires. 

Grâce à la magie des réseaux sociaux, sa vidéo a été visionnée plus d’un million de fois en deux semaines et reprise par plusieurs médias internationaux.

Une technologie accessible

Priyanjali explique qu’elle a créé son modèle grâce au logiciel de détection d’objets le “Tensorflow” accessible librement. Ce modèle effectue la traduction en utilisant la méthode du transfert par apprentissage le “Transfer learning” à partir du modèle prédéfini “ssd_mobilenet”.

Le code de cette Intelligence Artificielle est écrit en langage “Python” disponible sur un site de gestion et d’hébergement de logiciel appelé le “Github”. Le “Git link” permettant de le consulter est accessible gratuitement depuis sa video publiée sur LinkedIn.

Git link : https://lnkd.in/eRFH4x6A?trk=public_post_share-update_update-text

Afin de concrétiser son projet, l’étudiante indienne s’est inspirée des travaux du programmeur vidéaste Nicholas Renotte. Celui-ci avait déjà développé un outil à peu près similaire avant elle fin 2020 et qu’il présente dans un tutoriel sur le site de Youtube.

L’inspiratrice de cet eurêka !

Ce n’est autre que la propre mère de l’étudiante, Maître de conférences à l’Université de Dehli, qui l’a poussé à trouver cette ingénieuse idée, il y’a un an :

“De nos jours, plusieurs personnes créent de nouvelles Start-Up et elle créent de l’innovation, il est temps de faire quelque chose d’utile maintenant que tu étudies l’ingénierie“.

Mère de Pryanjali Gutpa

Ainsi, il y’a un an, lors d’un jour ordinaire, lui vint une idée en tête. Alors que la jeune indienne communiquait avec l’assistante vocale d’Amazon Alexa qui exécutait ses ordres, elle s’est rendue compte qu’Alexa ne serait d’aucune utilité pour les personnes sourdes et muettes. Elle a alors commencé à mettre en oeuvre les dires de sa mère ravie d’avoir trouvé une idée utile, honorable et indispensable.

Une invention non aboutie

Comme toute création, celle-ci a des limites. En effet, l’invention de la génie indienne ne permet pas de prendre en compte les particularités de la langue des signes. Notamment, le fait que comme les langues parlées il existe différentes langues des signes selon les pays et qu’elles nécessitent parfois un contexte pour pouvoir être traduite correctement. 

Des chercheurs américians se sont déjà penchés sur ce sujet. En mars 2020, le Géant du Web Google a présenté lors d’une conférence un outil assez réussi. Une application sur son smartphone qui permettrait de traduire les signes des mains reconnus grâce à la camera. Par contre celle-ci nécessite beaucoup d’énergie et une grande quantité de données. Finalement, leur reflexion a rejoint celle de l’étudiante : utiliser le “Transfer learning”.

Certains internautes n’ont pas hésité à la critiquer et faire savoir qu’elle n’était pas l’inventrice de cette technologie. D’autres ont déjà essayé avant elle comme le Kenyan Roy Allela âgé de 25 ans en 2019 qui a crée des gants intelligents capables de traduire vocalement le mouvement des mains.

Or, cela n’a pas empêché l’indienne d’utiliser son talent afin d’améliorer et combiner ces technologies. D’autant qu’elle aspire à ce que cette technologie puisse être accessible et à la portée de tous.

Une aspiration au partage du progrés

L’étudiante a alors annoncé qu’elle aimerait participer au progrès en apportant quelques améliorations à son projet : utiliser un vrai modèle d’apprentissage même si la création d’un réseau neuronal profond reste complexe.

C’est ainsi qu’elle s’est confiée auprès du site “Interesting Engineering” qui l’a interwievé :
“Je ne suis qu’une étudiante amatrice mais j’apprends. Et je crois que tôt ou tard, notre communauté open source plus expérimentée que moi trouvera une solution. Selon moi, les chercheurs et développeurs font de leur mieux pour trouver des solutions qui puissent être mises en œuvre. Cependant, je pense que la première étape à tout ça serait de normaliser la langue des signes et les autres modes de communication avec les personnes porteuses de handicap pour travailler à combler le fossé en matière de communication.”

Désormais, son outil pourra permettre d’interagir de manière plus intuitive avec une personne utilisant le langage des signes comme les malentendants et les muets.

Bonus : La langue des signes dans les films indiens

Je vous propose de visionner quelques films indiens qui traite plus ou moins de ce sujet.

• Hindi :
  • Koyla
    • Thriller réalisé par Rokesh Roshan, sorti en 1997, acteurs principaux : Sharukh Khan, Madhuri Dixit et Amrish Puri
  • Black
    • Drame réalisé par Sanjay Leela Bhansali, sorti en 2005, acteurs principaux : Amitabh Bachchan et Rani Mukherjee
  • Iqbal
    • Dramatique sportif réalisé par Nagesh Kukunoor, sorti en 2005, acteurs principaux : Naseeruddin Shah et Shreyas Talpade
  • Barfi!
    • Comédie dramatique réalisée par Anurag Basu, sorti en 2012, acteurs principaux: Ranbir Kapoor, Priyanka Chopra et Ileana D’Cruz
  • Bajrangi Bhaijan
    • Comédie dramatique réalisée par Kabir Khan, sorti en 2015, acteurs principaux: Salman Khan, Kareena Kapoor Khan, Nawazuddin Siddiqui et Harshaali Malhotra
• Tamoul :
  • Mohzi
    • Comédie romantique réalisée par Radha Mohan, sorti en 2007, acteurs principaux : Prithviraj Sukumaran, Jyothika, Prakash Raj et Swarnamalya
  • Naanum Rowdy Dhan
    • Comédie action réalisée par Vignesh Shivan, sorti en 2015, acteurs principaux : Vijay Sethupathi, Vignesh Shivan et Nayantara

Bonne séance !