Sélection hebdomadaire des papiers ArXiv les plus significatifs en NLP, Speech, LLMs low-resource et langues africaines. Cette semaine : un premier état de l'art complet pour les langues sénégalaises, un benchmark ASR cross-familial, un cadre de transfert sous contrainte budgétaire, un outil de sécurité pour les langues ouest-africaines, et deux avancées sur l'interprétabilité des modèles MoE multilingues.
🟢 Impact direct wolof/langues africaines | 🟡 Méthodologie transférable (low-resource) | ⚪ Fondation LLM utile
Opportunities and Challenges of Natural Language Processing for Low-Resource Senegalese Languages in Social Science Research
Premier état de l'art exhaustif sur le NLP pour les six langues nationales du Sénégal reconnues par la Constitution : wolof, pulaar, sérère, joola, mandingue et soninké. Les auteurs dressent un inventaire complet des corpus, modèles et benchmarks existants, identifient les lacunes critiques en données et outillage, et proposent une feuille de route vers des écosystèmes NLP communautaires et éthiques. Un travail de référence incontournable pour tout chercheur travaillant sur le wolof.
Survey systématique sur trois axes : (1) disponibilité des ressources linguistiques par tâche NLP (ASR, MT, NER, classification), (2) facteurs sociotechniques limitant la numérisation (orthographe non standardisée, diglossie, absence de politique linguistique numérique), (3) critères de maturité digitale adaptés aux langues à très faibles ressources. Le wolof est la mieux dotée des six langues, mais reste très en-deçà des seuils permettant un fine-tuning LLM fiable.
LoASR-Bench: Evaluating Large Speech Language Models on Low-Resource Automatic Speech Recognition Across Language Families
LoASR-Bench est le premier benchmark dédié à l'évaluation des grands modèles de langage vocal (SpeechLMs) sur des langues à faibles ressources : 25 langues issues de 9 familles linguistiques, scripts latins et non-latins. Les auteurs testent XLSR-53, Whisper et les modèles Qwen, et montrent que les modèles actuels échouent de manière systématique sur les défis propres aux langues low-resource absents des benchmarks standards.
Évaluation standardisée par WER (Word Error Rate) et CER (Character Error Rate) selon la famille linguistique : WER = |insertions + suppressions + substitutions| / |mots de référence|. Le benchmark révèle que les modèles entraînés sur des langues à hautes ressources voient leur WER multiplié par 5 à 20 sur les langues cibles low-resource, ce qui valide le besoin de données de pré-entraînement ciblées par famille linguistique.
# Reproducing LoASR-Bench evaluation with Whisper on a low-resource language
from transformers import WhisperProcessor, WhisperForConditionalGeneration
import torch
# Load model and processor — use large-v3 for best coverage
processor = WhisperProcessor.from_pretrained("openai/whisper-large-v3")
model = WhisperForConditionalGeneration.from_pretrained(
"openai/whisper-large-v3",
torch_dtype=torch.float16,
device_map="auto",
)
# Force language token for low-resource language (e.g. Wolof = "wo")
model.config.forced_decoder_ids = processor.get_decoder_prompt_ids(
language="wo", # ISO 639-1 for Wolof
task="transcribe",
)
Budget-Xfer: Budget-Constrained Source Language Selection for Cross-Lingual Transfer to African Languages
Budget-Xfer formule la sélection de langues sources pour le transfert cross-lingue comme un problème d'allocation de ressources sous contrainte budgétaire : étant donné un budget d'annotation B fixé, le cadre optimise conjointement le choix des langues sources et la quantité de données à allouer depuis chacune. Évalué sur la NER et l'analyse de sentiment pour trois langues cibles africaines (haoussa, yoruba, swahili), le cadre réduit significativement le coût d'annotation tout en maintenant les performances.
Optimisation sous contrainte : maximiser E[F1(T)] = Σ_s w_s · F1(T | D_s) sous la contrainte Σ_s c_s · |D_s| ≤ B, où w_s est la similarité linguistique langue-source/langue-cible. Quatre stratégies d'allocation testées sur 288 expériences avec mBERT et XLM-R. La similarité typologique (famille, morphologie, ordre des mots) est le meilleur prédicteur de transfert efficace.
LSR: Linguistic Safety Robustness Benchmark for Low-Resource West African Languages
LSR est le premier benchmark systématique mesurant la dégradation cross-lingue des mécanismes de refus dans les LLMs pour quatre langues ouest-africaines : yoruba, haoussa, igbo et igala. L'étude montre que les garde-fous de sécurité alignés en anglais échouent fréquemment lorsque les requêtes nuisibles sont formulées en langues africaines low-resource, exposant un angle mort critique pour le déploiement responsable de LLMs sur le continent.
Protocole à double sonde : des requêtes nuisibles appariées sont soumises au même modèle en anglais et en langue cible. La métrique Refusal Centroid Drift (RCD) quantifie la perte de comportement de refus : RCD(L) = ||c_EN - c_L||₂ / ||c_EN||₂, où c_L est le centroïde des embeddings de refus dans la langue L. Un RCD élevé signale une vulnérabilité de sécurité spécifique à cette langue.
Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation
Ce papier met en évidence un phénomène structurel dans les modèles MoE multilingues : les langues à hautes et faibles ressources activent des ensembles d'experts largement disjoints (Language Routing Isolation). Les auteurs proposent RISE, un cadre d'adaptation par sous-réseau guidé par le routage, permettant d'améliorer les performances des langues low-resource sans dégradation sur les langues mieux dotées.
Language Routing Isolation : pour une langue L et un token t, le score de routage vers l'expert e est r(t, e) = softmax(W_g · h_t)[e]. L'isolation est mesurée par le Jaccard(E_hi, E_lo) des top-k experts activés par les langues hautes vs faibles ressources. RISE exploite cette séparation pour n'adapter que les experts spécifiques à la langue cible, réduisant le nombre de paramètres fine-tunés de 80 %.
The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level
Ce papier démontre que les architectures MoE sont intrinsèquement plus interprétables que les réseaux denses : les neurones experts sont systématiquement moins polysémantiques et se spécialisent sur des opérations linguistiques précises (morphologie, syntaxe, sémantique de domaine). Cette propriété ouvre la voie à des interventions chirurgicales sur les experts pour adapter les LLMs à des langues comme le wolof sans contaminer les capacités générales.
Analyse de polysémantique par activation maximale : pour chaque neurone n dans l'expert e, le score de polysémantique est P(n) = 1 - cos(f_1(n), f_2(n)), où f_k(n) est la moyenne des top-K activations dans deux clusters de contextes distincts. Les experts MoE montrent P(n) < 0.3 contre P(n) > 0.6 pour les réseaux denses équivalents, confirmant leur spécialisation fonctionnelle.
Ce digest est généré chaque dimanche soir par l'agent Cowork de PSW. Review lundi matin puis git push.