Mubert dans le chat Décrivez un morceau, puis modifiez-le avec des mots. Éditer de la musique avec des paroles Mubert Grilles en Transformer un enregistrement brut en un épisode de podcast finalisé Terminer les épisodes du podcast Mubert Fusible Téléchargez un clip, trouvez une musique adaptée à sa durée et à son ambiance. Musique adaptée à votre vidéo

Explication de Dessa AI : le modèle vocal de Block qui a appris à parler sans jamais lire un seul mot

Dessa AI est le modèle vocal de Block, présenté le 23 octobre. Block affirme qu'il a appris uniquement à partir d'enregistrements de conversations humaines et n'a jamais vu de texte. Vous découvrirez également comment il réagit à vos conversations, le contenu de ses 21 extraits vidéo et l'origine de son nom.

  
Cloudflare : chargement…
Besoin d'inspiration ? Parcourez 168 suggestions musicales →
Dessa AI : Explication du modèle vocal de Block basé uniquement sur la paroleDessa AI : Explication du modèle vocal de Block basé uniquement sur la parole

Dessa AI est un nouveau modèle vocal développé par Block, la société à l'origine de Square et Cash App. Ce modèle est atypique pour une machine parlante car il n'a jamais appris à lire. Block précise l'avoir entraîné uniquement sur des conversations humaines enregistrées, sans aucun texte. Block indique également que Dessa AI écoute et parle simultanément, comme une personne au téléphone. Cet article s'adresse aux créateurs, podcasteurs et développeurs qui suivent l'actualité de l'IA audio. Il aborde la présentation de Block du 23 octobre, les différences entre ce modèle et les assistants vocaux que vous utilisez déjà, l'origine de son nom et les informations que personne en dehors de Block ne peut encore vérifier.

Les démos sont bonnes. Par endroits, elles sont même troublantes de qualité. L'un d'eux halète.

Mais Block a enregistré et sélectionné chaque séquence, et personne n'a encore publié de test comparatif. Par conséquent, sauf indication contraire, considérez tout ce qui suit comme étant « l'avis de Block ».

Dessa AI : Explication du modèle vocal de Block basé uniquement sur la paroleDessa AI : Explication du modèle vocal de Block basé uniquement sur la parole

Dessa AI est le modèle vocal de Block qui ignore complètement le texte.

Block a lancé Dessa AI sur sa page dédiée, avec une liste d'attente, de nombreux enregistrements de conversations et un appel à candidatures pour des chercheurs en sécurité. TechCrunch et WinBuzzer en ont parlé pendant les deux jours suivants. Le principe est simple : entrée audio, sortie audio, sans aucun document écrit.

Le laboratoire à l'origine de ces travaux se trouve au sein de Block. Block le qualifie de « (très) petit », et les parenthèses sont de Block. Sa page mentionne six chercheurs, trois stagiaires et deux anciens stagiaires. Selon WinBuzzer, il est dirigé par Ragavan Thurairatnam et relève directement de Jack Dorsey, cofondateur et président de Block, ce qui est une hiérarchie inhabituellement courte pour une équipe qui affirme développer des modèles d'apprentissage profond depuis 2012 et des modèles de synthèse vocale depuis plus de huit ans.

L'annonce repose sur trois affirmations. Le modèle est de type synthèse vocale : il entend et produit des sons. Il est également bidirectionnel (full-duplex), ce qui signifie qu'il peut parler en même temps que vous. Et tout ce qu'il sait, de la grammaire aux titres de films, provient de l'écoute. Block qualifie Dessa AI de première IA, « à notre connaissance », capable de tenir une conversation réaliste en direct et entraînée exclusivement sur la parole humaine.

Personne d'extérieur ne peut tester Dessa AI pour le moment. Il y a une liste d'attente. C'est tout ce à quoi le public a accès pour l'instant.

La plupart des assistants vocaux font passer vos paroles par trois modèles.

La plupart des assistants vocaux sont en réalité trois systèmes interconnectés. La reconnaissance vocale convertit votre voix en texte, puis un modèle de texte (un LLM, du même type que celui utilisé par les chatbots) rédige une réponse, et enfin, la synthèse vocale lit cette réponse à voix haute. Chaque étape de transition engendre une perte de temps et d'informations.

Ce qui se perd, c'est tout ce qui n'est pas un mot. Dites « super » juste après que votre ordinateur portable s'éteigne, et la transcription affichera « super ». Le sarcasme, lui, est absent. L'annonce de Block exprime précisément ce constat : l'IA vocale actuelle « perd une quantité incroyable d'informations que le texte seul ne peut pas transmettre ».

Un modèle de synthèse vocale élimine les transitions. Le son entre, le son sort, et le modèle travaille directement sur l'audio ; ainsi, le ton, le débit, un soupir et un rire sont tous considérés comme des entrées.

Le mode duplex intégral représente l'autre moitié du système. Un talkie-walkie fonctionne en semi-duplex : une personne parle et relâche le bouton, puis l'autre répond. Un appel téléphonique est en duplex intégral, car les deux interlocuteurs peuvent parler simultanément, s'interrompre et se chevaucher. La plupart des assistants fonctionnent encore comme des talkies-walkies : ils attendent le silence.

Un signal de présence est un petit bruit émis par l'interlocuteur pour lui indiquer qu'il est toujours là : « mm-hm », « ouais », « oh ». Personne ne les note. Pourtant, une conversation sans ces signaux donne l'impression de laisser un message vocal. Block explique que Dessa AI a appris à identifier les signaux de présence et les moments où interrompre la conversation grâce à de vraies conversations, et non grâce à une règle écrite.

Que signifie « entraîné uniquement sur la parole » pour Dessa AI ?

Les grands modèles de langage apprennent à partir de textes et en nécessitent une quantité considérable, tandis que Block affirme que Dessa AI a appris le langage avec « des centaines de fois moins de mots » qu'un modèle de langage. Pour être juste, ajoute l'entreprise, les développeurs de grands modèles de langage doivent également apprendre le C++ « et ce que signifie Angular, au juste ».

(Angular est un framework web. Nous avons aussi des opinions à ce sujet, généralement forgées à 2 heures du matin lors d'une compilation ayant échoué pour des raisons que seule la compilation elle-même comprenait. Bref.)

Réduire le nombre de mots ne simplifie pas la tâche. Un texte est clair, car « volé » s'écrit toujours avec les mêmes cinq lettres, quel que soit l'auteur. La parole, en revanche, est toujours différente. Répétez la même phrase deux fois, notez les informations, et les deux enregistrements seront différents. De plus, un mot prononcé occupe des milliers de fois plus d'octets qu'un mot écrit ; le modèle doit donc extraire le langage au milieu d'un bruit important.

Block compare Dessa AI aux bébés, qui apprennent à parler avant de savoir lire. L'entreprise précise également avoir entraîné le modèle sur une seule carte NVIDIA GB200 NVL72, que WinBuzzer décrit comme un rack contenant 72 GPU. C'est une quantité impressionnante de matériel pour un laboratoire qui se prétend très petit. Certes, il ne s'agit que d'un rack, pas d'un centre de données.

Accentuer un mot change le sens de la phrase.

L'exemple de Block lui-même illustre parfaitement ce point. Lisez à voix haute « Je n'ai pas dit qu'elle avait volé mon code CUDA » en accentuant un mot différent à chaque fois. Insistez sur « je » et quelqu'un d'autre l'a dit, sur « elle » et le voleur est quelqu'un d'autre, sur « mon » et elle a volé le code de quelqu'un d'autre.

Nous avons testé ça autour d'un bureau. Ça marche. Après coup, tout le monde avait l'air un peu coupable.

Voilà tout l'argument. Un système de traitement de texte voit systématiquement les mêmes huit mots, tandis qu'un modèle vocal entend plusieurs accusations différentes, et une seule d'entre elles entraîne un licenciement.

Ce que Block ne précise pas, c'est la provenance des conversations utilisées dans l'ensemble d'entraînement ni comment il a obtenu l'autorisation de les utiliser. WinBuzzer a également relevé cette lacune.

Ce que montrent les enregistrements de l'IA de Dessa

La page de Block propose 21 vidéos : six mises en avant et 15 autres exemples. Chaque vidéo est un enregistrement en direct d'une personne s'adressant au modèle, avec deux pistes audio et des sous-titres ajoutés ultérieurement. Block insiste sur le fait que personne ne contrôle Dessa AI ; elle choisit donc elle-même ses mots, son rythme, sa voix et sa personnalité.

Voici les points forts, tels que décrits par Block. Le bot rit en plein milieu d'une phrase lorsqu'il trouve quelque chose de drôle, au lieu d'attendre que vous ayez fini. Demandez-lui de parler plus fort : il élève la voix. Si vous oubliez un titre de film, il termine la phrase pour vous. Dans la vidéo anniversaire, il murmure un « oh mon dieu », puis répond avec ce que Block qualifie de gratitude émouvante. TechCrunch décrit également une vidéo où le bot dit être fatigué du travail.

Il a l'air fatigué.

La vidéo la plus étrange ne montre aucun humain. Block a mis Dessa AI en communication avec GPT-Live-1 (appelé ChatGPT Live sur sa page), les deux voix étant donc générées par IA. Block précise que le développeur de l'autre modèle n'a ni examiné ni approuvé la démonstration. Selon TechCrunch, GPT-Live est un modèle bidirectionnel (full-duplex) publié par OpenAI en début d'année.

L'IA de Dessa fait des erreurs, et Block les a conservées.

Les erreurs ont été conservées. Comme le rapporte WinBuzzer, The Verge a remarqué que Dessa AI appelait son partenaire Ronaldo. Dans un autre extrait, une conversation sur les films de Christopher Nolan dérive vers les films Superman de Bryan Singer. Thurairatnam a également partagé un jeu de devinettes auquel il a joué avec un stagiaire de Block, et Gizmodo a noté que le modèle a deviné juste du premier coup à deux reprises, puis a continué à deviner après avoir été informé de sa victoire.

Attention cependant : Block a choisi ces enregistrements. Il n’existe aucun document technique, aucun point de référence ni aucun test public. TechCrunch indique également qu’il est difficile de déterminer si un système d’étiquetage influence l’émotion, à l’instar des étiquettes vocales utilisées par ElevenLabs v4 ou Fish Audio Drama 3. « Personne n’intervient » est une affirmation, et pour l’instant, personne en dehors de Block ne peut le vérifier.

Moshi et PersonaPlex ont été les premiers à utiliser le mode duplex intégral, avec du texte en dessous.

Parler et écouter simultanément n'est pas nouveau. En 2024, le laboratoire Kyutai a publié Moshi , qu'il décrit comme un modèle de base parole-texte et un cadre de dialogue oral bidirectionnel, et qu'il présente comme le premier modèle de langage oral bidirectionnel en temps réel pour les systèmes de grande taille. Le délai théorique annoncé est de 160 millisecondes, et d'environ 200 millisecondes en pratique.

La différence réside dans l'expression « parole-texte ». Moshi prédit des éléments textuels qui correspondent à sa propre parole, une technique que ses auteurs appellent « monologue intérieur ». Il repose également sur un modèle de langage textuel nommé Helium. Autrement dit, le texte sert de support à la parole de Moshi. PersonaPlex de NVIDIA s'appuie sur l'architecture de Moshi et permet en plus de définir le rôle du modèle par une invite textuelle et sa voix par un extrait audio.

L'affirmation de Block est donc plus restrictive que le « full-duplex », et plus étrange encore. Selon Block, Dessa AI abandonne complètement la prise en charge du texte : aucun modèle de texte sous-jacent, aucune transcription, aucun poids pré-entraîné. Si cette approche résiste aux tests externes, elle répondrait davantage à une question de recherche qu'à un besoin produit. Le son seul peut-il suffire à la connaissance et à la conversation ?

Block soulève lui-même de nombreuses questions ouvertes. Avec quelle efficacité ces modèles apprennent-ils les faits par rapport aux modèles textuels ? À quelle vitesse peuvent-ils maîtriser une nouvelle langue ? Ce sont d’excellentes questions. Y répondre nécessitera des articles, pas des démonstrations.

Un podcasteur, figé dans son studio à domicile, entend sa propre voix sortir de l'ordinateur portable d'un inconnu, de l'autre côté de la pièce, et dire quelque chose qu'il n'a jamais dit.Un podcasteur, figé dans son studio à domicile, entend sa propre voix sortir de l'ordinateur portable d'un inconnu, de l'autre côté de la pièce, et dire quelque chose qu'il n'a jamais dit.

L'utilisation d'un MacBook Pro modifie les profils des utilisateurs potentiels de Dessa AI.

Selon Block, le modèle d'IA Dessa entraîné fonctionne localement sur un MacBook Pro équipé d'une puce M4 Max ou supérieure, et produit un signal audio plus rapide que le temps réel, éliminant ainsi tout temps mort avant la réponse. À titre de comparaison, WinBuzzer indique que les développeurs de Moshi ont testé leur version embarquée sur un MacBook Pro M3.

Tout est local. Le son reste sur la machine. Personne ne paie de facture serveur à la minute. Et le temps de réponse ne dépend pas de la disponibilité d'un autre centre de données.

TechCrunch interprète cela comme une initiative commerciale. Square utilise déjà l'IA vocale pour prendre les commandes, et un modèle fonctionnant sur l'appareil pourrait alimenter davantage de produits professionnels et grand public à moindre coût. Il s'agit toutefois de l'analyse de TechCrunch, et non de la feuille de route de Block. Block n'a annoncé aucun produit, ni aucune stratégie. API et sans prix.

Le nom Dessa vient de la fausse voix de Joe Rogan

Voici le résumé de l'affaire. Dessa était une startup torontoise spécialisée dans l'apprentissage profond, fondée en 2016 sous le nom de DeepLearni.ng, d'après BetaKit . En mai 2019, ses ingénieurs ont publié des extraits vidéo où Joe Rogan tenait des propos qu'il n'avait jamais tenus. Convaincants, et pourtant totalement faux. Le système s'appelait RealTalk, et The Register a rapporté que Dessa refusait de publier les résultats de la recherche, le modèle ou les jeux de données.

RealTalk était un système de synthèse vocale : il transformait des mots saisis au clavier en la voix d'un homme en particulier. The Logic note que Dessa a également mis à disposition des outils en open source pour aider d'autres personnes à détecter les deepfakes.

Puis un acheteur s'est manifesté. En février 2020, Square a racheté Dessa pour un montant non divulgué. Dans son communiqué, Square a mis l'accent sur les travaux relatifs aux deepfakes, qualifiant les fichiers audio et vidéo truqués de menace croissante pour la sécurité, la gestion des risques et la fraude. Square a pris le nom de Block en 2021. Au moment de la finalisation de l'acquisition, Thurairatnam était responsable de l'apprentissage automatique chez Dessa, selon BetaKit. Il dirige désormais le laboratoire dont le modèle porte le nom de l'ancienne entreprise.

Ainsi, les mêmes personnes qui avaient jadis démontré le réalisme d'une voix artificielle créée à partir de texte ont désormais conçu une voix parlante qui n'a jamais vu de texte. Quelque part, une note d'analyse des risques de 2019 doit lire cela avec un vif intérêt.

La question des deepfakes change de forme

Une voix qui halète, rit au bon moment et semble fatiguée lorsqu'elle l'exprime serait un atout précieux pour quiconque conçoit un assistant pour patients. Un escroc pourrait également en profiter. Block semble en être conscient. Au lieu d'un lancement public, l'entreprise offre un accès anticipé à un petit groupe de chercheurs spécialisés dans la sécurité de l'IA afin qu'ils puissent identifier les risques imprévus par l'équipe. TechCrunch soupçonne que l'un de ces tests consiste à tromper l'interlocuteur vocal.

L'argument de sécurité avancé par Block lui-même va à l'encontre de cette hypothèse. Sa page invite à imaginer souffrir atrocement tandis qu'une IA vocale, ignorant la douleur, poursuit son discours sans réagir. Un modèle capable de détecter la détresse pourrait s'arrêter, et Block espère que Dessa AI en sera capable. Cependant, comme le souligne WinBuzzer, personne n'a testé publiquement si cela est réellement le cas, ni avec quelle fiabilité.

Deux détails méritent d'être soulignés. Premièrement, le modèle choisit sa propre voix et sa propre personnalité pour chaque conversation, ce qui est charmant lors d'une démonstration, mais déroutant au téléphone. Deuxièmement, dans l'extrait GPT-Live-1, Block indique clairement que les deux voix sont générées par une IA, et cette indication est le seul moyen pour l'auditeur de le savoir. Les enregistrements ultérieurs, réalisés par d'autres personnes, pourraient ne pas comporter cette mention.

Que reste-t-il inconnu à propos de l'IA de Dessa ?

Voici ce qui manque encore à Dessa AI publiquement, au 31 octobre :

  • une date de sortie, un API ou un prix
  • des points de référence, un document technique ou tout test indépendant
  • une liste des langues prises en charge (un extrait vidéo s'intitule « Chanter de l'espagnol absurde », ce qui ne constitue pas une liste de langues)
  • d'où provenaient les conversations de formation et si les intervenants y avaient consenti.
  • un nombre de paramètres, que la page de Block ne fournit pas
  • TechCrunch a soulevé la question de savoir si les tags influencent les émotions. Cette question a permis de répondre à cette question.

Une semaine plus tard, la situation n'a guère évolué. La page de Block indique toujours que les liens de lancement seront bientôt disponibles et que d'autres enregistrements seront partagés sur X. Les chercheurs en sécurité demandent un accès anticipé via un formulaire exigeant une adresse électronique institutionnelle. PYMNTS a noté le 27 octobre que Block n'a pas précisé si, et quand, Dessa AI sera disponible sur le matériel Square, et que la précision, la latence et la taille du modèle restent inconnues.

La question des données utilisées rappellera des souvenirs à tous ceux qui s'intéressent à la musique générée par l'IA. Depuis un an, les musiciens se demandent quels enregistrements ont servi à l'entraînement de quel modèle. Leur syndicat souhaite désormais avoir son mot à dire avant que les maisons de disques n'utilisent quoi que ce soit pour l'entraînement des modèles, comme l'explique notre article sur la campagne « Fabriqué par des humains, payé par des humains » de l'AFM . Les voix sont aussi des enregistrements.

Ce qu'un modèle basé uniquement sur la parole pourrait changer pour les fabricants audio

Place aux opinions.

Pour les podcasteurs, la vallée de l'étrange est devenue moins perceptible. Les co-animateurs IA ont généralement une voix qui rappelle celle des livres audio, avec une posture impeccable ; un modèle qui commente en coulisses et rit par-dessus vous ne le ferait pas. La transparence fait donc partie intégrante du métier. Les auditeurs pardonnent beaucoup, mais ils ne pardonnent pas de le découvrir trop tard.

Le montage évolue aussi. De nombreux flux de travail pour les podcasts permettent désormais de couper directement à partir de la transcription, ce qui fonctionne car le sens réside dans les mots. Dans une conversation ponctuée de chevauchements, de rires à demi-mot et de soupirs au milieu d'une phrase, la transcription passe à côté de l'essentiel. C'est l'une des raisons pour lesquelles nous apprécions le montage audio, même de façon basique. édition de podcast en cinq étapes ou dans un outil audio-prioritaire tel que Mubert Grilles enLe soupir n'apparaît jamais dans le texte. Il est donc modifié directement dans le texte.

Pour les développeurs, l'aspect local de Dessa AI est intéressant, mais il n'y a pas de APIPour l'instant, ni licence ni prix n'ont été annoncés ; il n'y a donc rien sur quoi s'appuyer. Rien ne sera établi tant qu'un document officiel n'aura pas été publié, puis les conditions et les modalités seront définies.

Pour les comédiens de doublage et tous ceux dont la voix est le produit, la question cruciale concerne les données d'entraînement. Un modèle qui a appris le rythme, le sarcasme et la respiration à partir de conversations réelles les a appris de vraies personnes, et ces personnes voudront savoir si elles figuraient dans l'ensemble d'entraînement.

Ce qui nous ramène à Joe Rogan. En 2019, les créateurs de ce pseudonyme ont fait réciter des virelangues par un faux Rogan à partir d'un script. En 2026, leur modèle est stupéfait par une surprise d'anniversaire, et il n'y a aucun script.

Liste de contrôle pour les créateurs qui regardent Dessa AI

  1. Écoutez trois extraits sur la page Dessa de Block et notez où le rythme sonne naturel et où il se dérègle.
  2. Lisez l'introduction de l'article de Moshi pour voir comment fonctionne un modèle duplex intégral avec du texte en dessous.
  3. Ajoutez dès maintenant une ligne concernant les voix d'IA à votre modèle de notes d'émission, avant même qu'un épisode n'en ait besoin.
  4. Mettez-vous d'accord avec les co-animateurs et les invités réguliers sur la manière dont vous gérerez les voix d'IA dans un épisode.
  5. Vérifiez quels outils vocaux de votre flux de travail envoient l'audio à un serveur et lesquels fonctionnent localement.
  6. Inscrivez-vous sur la liste d'attente de Block si vous souhaitez entendre le modèle en direct une fois l'accès ouvert.
  7. Considérez les démonstrations de Dessa AI comme non vérifiées jusqu'à la publication d'un article ou d'un test de performance indépendant.

Couverture : illustration basée sur une photo de Jack Dorsey par Steve Jurvetson, CC BY 2.0.

Mubert L’équipe

Équipe éditoriale, Mubert Inc

Les musiciens, les concepteurs sonores et les ingénieurs derrière Mubert, une plateforme de musique générative créée à partir d'échantillons d'artistes professionnels rémunérés. Nous écrivons sur la musique générée par l'IA, les licences, le streaming et l'économie des créateurs, et nous analysons les contrats pour vous.

Qui nous sommes

Musique IA pour les créateurs

Rejoignez les 28 millions de créateurs qui produisent de la musique via Mubert applications et API intégrations

Mubert est une plateforme créée par des producteurs de musique qui aide les créateurs et les marques à générer une quantité illimitée de musique libre de droits grâce à l'intelligence artificielle. Notre mission est de soutenir et de protéger les créateurs. Notre objectif est de démocratiser l'économie créative.

Anghami Adidas canva DFF FIFA histoires Hauteur de levage Miller Picsart À pois Restream VOIR Visa zoomer