Pleias et la GSMA lancent “CommonLingua, l’avenir de l’IA en langues africaines

TOF GSMA
55 / 100 Score SEO

Cette initiative s’inscrit dans le programme « AI Language Models in Africa, by Africa, for Africa », porté par la GSMA, qui vise à combler le déficit de représentation des langues africaines dans les technologies numériques.

Un enjeu crucial pour l’IA en Afrique

Avec plus de 2 000 langues vivantes sur le continent africain, une grande partie reste encore absente ou mal représentée dans les données d’entraînement des modèles d’IA. Résultat : les outils actuels d’identification linguistique, comme fastText, GlotLID ou OpenLID, peinent à reconnaître correctement ces langues, les confondant souvent avec des langues dominantes comme l’anglais ou le français.

Cette faiblesse constitue un obstacle majeur : avant de développer des modèles performants pour des langues comme le swahili, le yoruba ou le wolof, il est indispensable d’identifier correctement la langue des textes.

Un modèle compact mais performant

CommonLingua se distingue par sa légèreté : seulement 2 millions de paramètres pour un modèle de 8 Mo. Malgré cette taille réduite, il affiche des performances remarquables, atteignant 83 % de précision et un score macro F1 de 0,79 sur le benchmark CommonLID — soit plus de 10 points de mieux que les modèles existants dans des conditions comparables.

Autre avantage : sa rapidité d’exécution. Le modèle peut traiter environ 20 textes par seconde sur CPU et jusqu’à 3 000 textes par seconde sur GPU, facilitant son déploiement à grande échelle, y compris dans des environnements à ressources limitées.

Une couverture linguistique étendue

CommonLingua prend en charge 334 langues, dont 61 langues africaines issues de huit grandes familles linguistiques, parmi lesquelles les langues bantoues, nigéro-congolaises, afro-asiatiques ou encore nilo-sahariennes. Le modèle fonctionne directement sur des séquences UTF-8, sans dépendre d’un tokeniseur spécifique, ce qui lui permet de gérer efficacement différents systèmes d’écriture, notamment latin, arabe, éthiopien, n’ko ou tifinagh.

Une base de données ouverte et collaborative

Le modèle a été entraîné exclusivement à partir de données sous licence ouverte ou issues du domaine public, provenant de sources telles que Wikipédia, OpenAlex, VOA Africa ou encore des projets comme WaxalNLP.

Cette approche garantit une transparence et une accessibilité accrues pour les chercheurs, développeurs souhaitant contribuer à l’amélioration des technologies linguistiques africaines.

Pour Pierre-Carl Langlais, cofondateur et directeur technique de Pleias, « on ne peut pas sélectionner ce qu’on ne peut pas identifier », soulignant le rôle fondamental de l’identification linguistique dans toute chaîne de traitement du langage.

De son côté, Louis Powell, directeur des initiatives en IA à la GSMA, estime que CommonLingua représente une avancée majeure pour réduire les inégalités numériques et stimuler les opportunités économiques sur le continent.

Prochaine étape : le MWC26 Kigali                         

Les discussions autour de l’avenir de l’IA en langues africaines se poursuivront lors du MWC26 Kigali, où la GSMA réunira des acteurs clés du secteur pour accélérer le développement d’un écosystème numérique plus inclusif et représentatif.

La GSMA est une organisation mondiale qui unifie l’écosystème mobile pour découvrir, développer et livrer des innovations fondamentales à des environnements d’affaires positifs et au changement sociétal.

Aimé Kouassi