Phonon : synthèse vocale open source hors ligne

Phonon est un modèle de synthèse vocale (text-to-speech) publié par Gradium, qui transforme du texte en voix directement sur ton appareil, sans serveur ni connexion. Il existe en deux tailles, d’environ 65 et 75 Mo, et parle cinq langues dont le français. Cet article détaille son contenu, ses licences, son usage dans Transformers et ses résultats sur le classement Open TTS.

En bref

Deux modèles d’environ 65 Mo et 75 Mo, qui tournent sans serveur ni réseau.
Anglais, français, allemand, espagnol et portugais, avec plus de 100 voix intégrées.
Phonon 31m (anglais) est en Apache 2.0, Phonon 40m (cinq langues) en CC BY-NC.
Voix personnalisées par clonage ou description dans Gradium Studio.
Utilisable dans Transformers à partir de la version 5.21.

Qu’est-ce que Phonon ?

La plupart des voix d’IA vivent dans le cloud : chaque phrase fait un aller-retour vers un serveur. Phonon fait l’inverse. Le texte reste sur l’appareil et la voix fonctionne sans réseau.

Gradium a annoncé Phonon en avril, puis a passé six mois à le faire évoluer avec des partenaires et de premiers utilisateurs. Les modèles sont devenus plus petits, et le projet a gagné des langues ainsi que la création de voix personnalisées, par clonage ou par description.

Tailles, langues et voix de Phonon

Phonon comporte deux modèles, d’environ 65 Mo et 75 Mo. Ensemble, ils parlent anglais, français, allemand, espagnol et portugais. Gradium compte plus de 100 voix intégrées, et indique que Phonon prononce correctement des éléments où beaucoup de systèmes trébuchent : numéros de téléphone, dates et codes.

Il fonctionne sur téléphone, ordinateur portable, ordinateur monocarte et dans un onglet de navigateur. Le modèle repose sur la lignée Pocket TTS et utilise le flow matching pour générer l’audio, une technique différente de celle des autres systèmes de synthèse vocale. Gradium précise que l’entraînement était d’abord instable numériquement et a demandé plusieurs astuces pour les cinq langues.

Licences et prix de Phonon

Phonon 31m parle anglais et est publié sous licence Apache 2.0 : il est gratuit, y compris dans un produit commercial. Phonon 40m couvre les cinq langues, sous licence CC BY-NC, donc gratuit pour des projets non commerciaux.

Pour un usage commercial de ces derniers modèles, Gradium indique que le tarif dépend du nombre d’utilisateurs et non de la quantité de voix générée. L’annonce ne donne aucun montant.

Utiliser Phonon dans Transformers

Phonon est disponible dans la bibliothèque Transformers de Hugging Face à partir de la version 5.21, comme implémentation PyTorch de référence. Elle vise le débit sur GPU : génération par lots, compilation complète du graphe, par exemple pour fabriquer de grands jeux de données vocales. Pour l’usage sur appareil, Gradium a créé un autre moteur, ptts, qui gère plus de 10 backends : processeurs Intel, Arm et WebAssembly, cartes graphiques CUDA, Vulkan, Metal et WebGPU, et NPU Apple Core ML et Snapdragon.

Une voix n’est pas un enregistrement mais un tenseur de caractéristiques du locuteur, fourni précalculé. Voici le chargement du modèle, recopié depuis l’annonce :

from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration
model_id = "gradium/phonon-31m-en"

Résultats de Phonon sur l’Open TTS Leaderboard

Le classement Open TTS de Hugging Face compare des modèles ouverts sur 23 langues, selon l’intelligibilité, la vitesse et le naturel. Selon Gradium, Phonon se classe premier en allemand et en espagnol pour l’intelligibilité, et dans les trois premiers dans chaque langue évaluée, face à des modèles jusqu’à 100 fois plus gros.

Côté vitesse, les modèles arrivent en tête du test de streaming sur processeur pour le délai avant le premier son. Ces résultats sont ceux annoncés par Gradium dans son article.

Démos, adoption et voix sur mesure

Le lancement s’accompagnait de démos : une Apple Watch hors Wi-Fi qui guide la préparation d’un café, un iPhone sans signal qui compte les répétitions d’un exercice, un robot nommé Lamp qui parle en personnage, ou encore Proust lu page par page. Des développeurs ont ajouté une conversion ExecuTorch pour le navigateur et une intégration pour Node.js. Gradium indique plus de 200 000 téléchargements en deux semaines.

Dans Gradium Studio, tu peux cloner une voix à partir d’un court enregistrement, avec le consentement de la personne, ou décrire une nouvelle voix en texte. Le fichier de voix se télécharge ensuite et fonctionne entièrement sur l’appareil. Gradium propose aussi d’entraîner des modèles sur mesure avec des partenaires, par exemple plus petits, pour le coréen, l’arabe ou le japonais.

Quelques repères

Text-to-speech : Technique qui transforme un texte écrit en parole synthétique. On parle aussi de synthèse vocale.
Clonage de voix : Méthode qui reproduit la voix d’une personne à partir d’un court enregistrement, afin de lui faire prononcer d’autres textes.

Questions fréquentes

Phonon fonctionne-t-il sans connexion internet ?

Oui. Phonon tourne sur ton appareil, sans serveur ni réseau, et le texte saisi n’en sort pas.

Phonon est-il gratuit pour un usage commercial ?

Seulement en partie. Phonon 31m, en anglais, est sous Apache 2.0 et gratuit, y compris en commercial. Les autres modèles sont en CC BY-NC, avec un tarif fondé sur le nombre d’utilisateurs pour un usage commercial.

Phonon parle-t-il français ?

Oui. Phonon 40m couvre l’anglais, le français, l’allemand, l’espagnol et le portugais, sous licence non commerciale.

Peut-on cloner une voix avec Phonon ?

Oui. Dans Gradium Studio, tu peux cloner une voix à partir d’un court enregistrement, avec le consentement du locuteur, ou en décrire une en texte, puis charger le fichier dans Phonon.

À retenir

Phonon réunit une voix de synthèse de 65 à 75 Mo, cinq langues et plus de 100 voix, exécutable sans réseau sur de nombreux appareils. Seul Phonon 31m, en anglais, est libre pour un usage commercial ; les autres modèles restent réservés aux projets non commerciaux.