L’objectif initial de ce projet était de développer une interface d’écriture de partitions et de synthèse musicale pour le web. Il n’est toutefois jamais allé plus loin qu’une démonstration du principe. Les différents modules étaient intégrés dans un plugin Silverlight, lequel pouvait ainsi être inséré dans une page web. Le développement s’est étiré sur quelques mois en 2010.
À terme, il aurait été possible d’écrire des dictées musicales directement dans une page web, par exemple. Ou encore de faire jouer de courts extraits de mélodies notés par des étudiants dans Moodle.
Comme je m’intéressais alors au processus créatif de la composition musicale dans le cadre de mes recherches de maitrise en musicologie, j’aurais aimé que l’interface devienne suffisamment développée pour servir de page blanche à des compositeurs. Il aurait ainsi été possible d’étudier le processus créatif à partir d’un manuscrit vivant, en analysant autant les coups de crayons que le passage de la gomme à effacer.
Le premier module développé consistait donc en une interface de saisie à la plume, grâce à ce qui était alors une nouvelle bibliothèque de Microsoft destinée à la saisie de l’écriture manuscrite.
L’application pouvait ainsi apprendre à reconnaitre les gestes d’écriture, grâce à un moteur de reconnaissance qui s’inspirait de celui des jeux d’échec : chaque geste est évalué à l’encontre d’un dictionnaire de possibilités et le moteur retient la correspondance qui obtient le meilleur score.
La technologie Silverlight n’étant plus supportée depuis plusieurs années, j’ai documenté le fonctionnement de l’application à l’aide de captures vidéos.
Le résultat de l’analyse du manuscrit est consigné à l’aide d’un schéma XML original. En effet, j’ai appris trop tard qu’un tel standard existait déjà pour les partitions musicales.
La partition en elle-même est rendue au format SVG. Ce format vectoriel peut facilement s’intégrer à n’importe quelle page web et on peut le redimensionner à l’infini. Cela facilitait grandement l’utilisation de ces partitions dans un site web destiné à l’enseignement de la musique, par exemple.
Mon ambition était d’intégrer certains principes d’intelligence artificielle : un module d’analyse aurait eu pour fonction de traiter la base d’informations recueillies afin de créer automatiquement de nouvelles règles permettant d’affiner le module de reconnaissance. Mais c’était beaucoup trop ambitieux pour mes moyens… et pour le temps dont je disposais.
Un synthétiseur logiciel était au cœur du deuxième module.
Inspiré par l’interface de Max/MSP, différents modules pouvaient être insérés sur un plan de travail et reliés entre eux par des patch cords, des raccordements dynamiques amenant le signal d’un module à l’autre.
L’architecture du logiciel permettait assez aisément l’ajout de modules supplémentaires, mais dans la version expérimentale, il n’y en avait seulement quatre : un oscillateur (avec différentes formes d’onde), un mixeur, un générateur d’enveloppe et un atténuateur.
Encore une fois, comme tout ça résidait dans un plugin Silverlight, l’interface pouvait s’insérer dans une page web.
Les limites étaient toutefois nombreuses. La technologie Silverlight était très primitive pour la gestion des streams et buffers audio. Les rares interfaces de bas niveau ont rapidement montrées leurs limites. Le standard MIDI, essentiel en musique, était impossible à implanter en raison de l’exécution en bac-de-sable des plugins. Bien qu’une API y donnant accès figurait dans les plans de développement de Microsoft, la technologie Silverlight a été abandonnée avant que cette API ne voit le jour. Du moins, selon mon souvenir.
En tout, le développement de ce projet ne s’est étiré que pendant quelques mois. Je n’y ai plus vraiment repensé ensuite.
Jusqu’à ce que quelques années plus tard, Microsoft mette en marché le premier modèle de sa tablette Surface, doté d’un écran tactile et d’un stylet performant.
Je mettais la main sur un Surface Pro 3 en 2014. J’ai recompilé l’application sur cet appareil, mais l’interface, conçue pour la souris, n’était pas compatible avec le stylet. Le tout aurait nécessité une réécriture importante.
En 2015, un logiciel d’écriture musicale tirant partie de ces fonctionnalités est apparu sur le marché: Staffpad. Une application mille fois plus sophistiquée que mon pauvre brouillon.
J’ai acheté Staffpad, mais je n’ai pas pu m’empêcher de penser que j’en avais eu l’idée avant… d’une certaine façon.
jbtremblay 