Outil numérique pour la communication alternative augmentée

Les outils numé­riques peuvent-ils répondre de manière effi­cace aux besoins de com­mu­ni­ca­tion des per­sonnes qui n’ont pas accès à une com­mu­ni­ca­tion verbale ?

Depuis quelques temps, je m’in­té­resse aux outils issus de réflexions sur la com­mu­ni­ca­tion alter­na­tive et aug­men­tée. Des moyens de conti­nuer à s’ex­pri­mer quand on perd la parole. Cepen­dant, la plu­part de ces outils sont ima­gi­nés pour des uti­li­sa­teurs voyants. Il faut donc réflé­chir et adap­ter les choses pour les per­sonnes en situa­tion de défi­cience visuelle. C’est un che­mi­ne­ment logique qui pro­longe ce que j’ex­pé­ri­mente déjà sur le blog acces­si­bi­li­té, que je vous invite à consulter.

L’une des pistes les plus inté­res­sante que nous avons explo­rées est l’u­ti­li­sa­tion de pic­to­grammes tac­tiles : de petits des­sins en relief, fabri­qués très sim­ple­ment grâce à la tech­nique du ther­mo­gon­flage.

Pictogrammes tactiles
Quelques pic­to­grammes tactiles

Mais l’au­to­no­mie de l’u­ti­li­sa­teur n’est pas com­plète. Pour­quoi ne pas cou­pler le concept avec un dis­po­si­tif per­met­tant de jouer des échan­tillons sonores ? On pour­rait alors dis­po­ser d’un outil à la fois tac­tile, et qui « dit » à haute voix pour l’utilisateur. 

Quelques solutions existantes

On trouve sur le mar­ché des outils per­met­tant une telle aide à la com­mu­ni­ca­tion, sur lequel on pour­rait pla­cer des pic­to­grammes tac­tiles, mais ils sont très oné­reux, leur prix s’é­le­vant à plu­sieurs mil­liers d’eu­ros. On trouve aus­si des solu­tions très peu chères, mais dont la qua­li­té de fabri­ca­tion rend dif­fi­cile l’u­sage, tant les bou­tons sont capricieux.

Utiliser un contrôleur midi

La pre­mière piste que j’ex­pé­ri­mente depuis quelques temps uti­lise un contrô­leur midi, un petit ordi­na­teur et une petite enceinte.

D’un point de vue logi­ciel, il s’a­git de suivre la piste que j’a­vais explo­rée récem­ment pour jouer des échan­tillons sonores : on pré­pare pour chaque touche un fichier son, où l’on a enre­gis­tré le mes­sage à dif­fu­ser, puis on asso­cie à une note midi ce son, et le contrô­leur est l’in­ter­face utilisateur. 

Un contrô­leur type launch­pad, com­po­sé d’une grille de 8 par 8 bou­tons carrés.

Dans ce contexte, j’i­ma­gi­ne­rais uti­li­ser un contrô­leur de type launch­pad, et col­ler sur chaque bou­ton un pic­to­gramme. Ces inter­faces per­met­tant de prendre en compte l’in­ten­si­té de pres­sion, on pour­rait même ima­gi­ner avoir une ver­sion chu­cho­tée, une ver­sion pro­non­cée nor­ma­le­ment, et une ver­sion criée de chaque son. 

Pour l’in­for­ma­tique, un mini ordi­na­teur type rasp­ber­ry pi, consom­mant peu, mais fai­sant tour­ner un sys­tème GNU/Linux semble être une bonne piste. On peut alors bran­cher une enceinte com­pacte pour la dif­fu­sion du son.

sché­ma décri­vant les bran­che­ments entre les dif­fé­rents élé­ments du dis­po­si­tif (launch­pad, rasp­ber­ry pi, enceinte, 220v)

Le défaut de cette approche, c’est l’en­com­bre­ment et la consom­ma­tion élec­trique. On pour­rait bien sûr conce­voir une coque qui réunit les trois dis­po­si­tifs (contrô­leur, ordi­na­teur et enceinte), mais il fau­drait tout de même bran­cher l’ap­pa­reil sur une prise élec­trique, ou tra­vailler à l’in­té­gra­tion d’une batterie.

Au final, on se retrou­ve­rait à conce­voir un dis­po­si­tif com­plet, ce qui sou­vent est une approche plus coû­teuse que de s’ap­puyer sur une solu­tion maté­rielle grand public, et est sou­vent peu main­te­nable et repro­duc­tible. En réflé­chis­sant un peu plus loin, j’ai ima­gi­né une autre piste, celle de la tablette tactile.

Utiliser une tablette tactile

Une tablette tac­tile a cet avan­tage de dis­po­ser d’une face qui réagit au tou­cher, d’un ordi­na­teur capable de réa­li­ser tous les trai­te­ments dési­rés, d’un haut-par­leur inté­gré, et a une bonne capa­ci­té d’au­to­no­mie élec­trique. On en trouve à des tarifs très rai­son­nables, parce qu’is­sus de fabri­ca­tion en grande série pour le grand public. Ne peut-on pas l’a­dap­ter à nos besoins ?

Notons pour com­men­cer que la tablette détecte le contact d’un doigt grâce à une tech­no­lo­gie capa­ci­tive qui capte les varia­tions élec­tro­sta­tiques induites par cette proxi­mi­té. Si l’on place un papier entre l’é­cran et le doigt, la tablette est tou­jours capable de détec­ter la pré­sence d’un doigt.

Cla­ria vox, un télé­phone maté­ria­li­sant les boutons

La dif­fi­cul­té qui per­siste est la non maté­ria­li­sa­tion des bou­tons pour une per­sonne en situa­tion de défi­cience visuelle. Il faut donc pro­po­ser, à la manière de Cla­ria vox, d’une grille phy­sique per­met­tant de retrou­ver la posi­tion de cha­cun des boutons.

La pre­mière idée que j’ai ima­gi­née était l’u­ti­li­sa­tion d’une impri­mante 3D pour fabri­quer une coque en sili­cone, qui entou­re­rait toute la tablette, et vien­drait repro­duire cette idée. Il suf­fi­rait alors de glis­ser la feuille ther­mo­gon­flée entre l’é­cran et la coque.

Cepen­dant, cette approche a le défaut de rendre dif­fi­cile le chan­ge­ment des pic­to­grammes. Or, les tablettes ayant géné­ra­le­ment une taille de 10 à 12 pouces en dia­go­nale, on peut dif­fi­ci­le­ment pla­cer plus de 20 pic­to­grammes si on veut qu’ils soient lisibles au doigt. Après réflexion, il me semble plus facile d’i­ma­gi­ner un dis­po­si­tif où l’on découpe dans un car­ton épais (ou du medium fin) une grille, sous laquelle on vient col­ler la feuille ther­mo­gon­flée. En fixant sur le des­sus de la tablette quelques plots de posi­tion­ne­ment, on peut ain­si ima­gi­ner un dis­po­si­tif faci­le­ment interchangeable.

Tablette équi­pée de plots de posi­tion­ne­ment, pour accueillir une planche de pictogrammes

D’un point de vue logi­ciel, plu­sieurs ques­tions se posent, qu’il fau­dra un peu expé­ri­men­ter : com­ment dis­tin­guer le geste de l’u­ti­li­sa­teur qui explore le pic­to­gramme pour l’i­den­ti­fier, du geste de l’u­ti­li­sa­teur qui sou­haite déclen­cher le son ? Une com­bi­nai­son de condi­tions sur la durée et le dépla­ce­ment pour­rait fonctionner.

Une amé­lio­ra­tion simple du dis­po­si­tif pour­rait consis­ter à inté­grer un petit tag NFC à chaque planche de pic­to­grammes, afin que la tablette détecte auto­ma­ti­que­ment celle qui vient d’être posi­tion­née à sa surface.

Extensions possibles

Une fois ima­gi­née cette inter­face par planches, on peut même ima­gi­ner d’autres uti­li­sa­tions que celles de la com­mu­ni­ca­tion non ver­bale. Ain­si, on pour­rait ima­gi­ner une inter­face sim­pli­fiée de lec­ture audio, pour que l’u­ti­li­sa­teur devienne auto­nome dans son écoute d’his­toires audio. On pour­rait ain­si avoir une case lecture/pause, une case pour le volume qui inté­gre­rait le glis­sé du doigt, et une case par type d’his­toire, clas­sée sui­vant les usages de l’u­ti­li­sa­teur (par durée, par type, etc.).

Edit

Depuis la publi­ca­tion de cet article, j’ai échan­gé avec plu­sieurs per­sonnes, qui ont ame­né à plu­sieurs sug­ges­tions intéressantes :

  • Uti­li­ser un outil d’i­mi­ta­tion de voix type Real-Time Voice Clo­ning (qui ne marche pour l’ins­tant qu’en anglais) pour que les bou­tons parlent avec la voix de l’u­ti­li­sa­teur. Il faut pour cela avoir des enre­gis­tre­ments audio (plus ou moins longs sui­vant la tech­no­lo­gie) pour obte­nir quelque chose d’intéressant.
  • Les cap­teurs NFC ont une posi­tion variable sur les tablettes, par­fois au centre, par­fois sur les bords, avec une por­tée de 2 à 3 cm. Il fau­dra donc faire atten­tion à l’en­droit où col­ler la puce NFC, mais leur taille réduite actuelle per­met beau­coup de choses.
  • Uti­li­ser un simple tap pour lan­cer le son est sans doute une mau­vaise piste, car il peut arri­ver que l’on explore un pic­to­gramme en lais­sant le doigt sta­tique. Pour cela, plu­sieurs approches : uti­li­ser le double tap, ou rem­pla­cer le dis­po­si­tif par des bou­tons qui s’en­foncent (avec un peu de méca­nique, ou des maté­riaux souples), afin de dis­tin­guer tou­cher et appui.
  • Le ther­mo­gon­flage s’use assez vite. Il pour­rait être inté­res­sant d’u­ti­li­ser un autre maté­riau, comme l’im­pres­sion 3D souple, ou l’u­si­nage de matière. Une autre piste pour­rait être l’u­ti­li­sa­tion de vernis.
  • Une solu­tion alter­na­tive aux plots consiste à fabri­quer un boî­tier autour de la tablette, comme une boîte ouverte, sur laquelle la planche inter­chan­geable vien­drait se pla­cer. Cela per­met, à la manière d’une coque, d’a­voir une pro­tec­tion pour la tablette. On peut ima­gi­ner une impres­sion 3D, ou toute autre forme de fabrication.

Jouer des échantillons sonores

Il existe pas mal de contextes où l’on a besoin de lan­cer des sons à la demande. On peut par exemple pen­ser aux habillages d’une émis­sion de radio, aux extraits musi­caux d’un spec­tacle, aux samples (ou échan­tillons) dans un direct musical.

Pour lan­cer les sons, on peut vou­loir uti­li­ser la sou­ris ou le cla­vier d’un ordi­na­teur, ou encore un contrô­leur dédié, comme un cla­vier maître ou un pad. Voi­ci détaillées quelques solu­tions que j’ai pu uti­li­ser par le pas­sé, et en par­ti­cu­lier celle que je viens d’ex­pé­ri­men­ter, avec le for­mat sfz.

En radio, le cartoucheur

En radio, on uti­lise en géné­ral un logi­ciel appe­lé car­tou­cheur pour lan­cer les extraits sonores d’une émis­sion de radio : habillage (géné­rique, vir­gules, tapis…), extraits musi­caux ou de repor­tage, etc.

Un car­tou­cheur est un logi­ciel qui pro­pose à l’u­ti­li­sa­teur de char­ger dans chaque bou­ton un son dif­fé­rent. Dis­po­sés en grille régu­lière, ces bou­tons per­mettent de lan­cer et d’ar­rê­ter indé­pen­dam­ment cha­cun des sons. Il existe plein de logi­ciels dif­fé­rents, sou­vent gra­tuits, ou à faible licence, qui pro­posent ce type de service. 

L’in­ter­face de PlayIt

Sous GNU/Linux, on trouve par exemple Linux Show Player, un outil qui semble très modu­laire, même si je ne l’ai jamais utilisé.

La prin­ci­pale limi­ta­tion des car­tou­cheurs est le faible contrôle que l’on a sur chaque extrait sonore. On peut en lan­cer la lec­ture, l’ar­rê­ter. Par­fois on peut faire une pause dans son écoute, mais la plu­part des confi­gu­ra­tions sont glo­bales, comme par exemple le fon­du en entrée ou en sor­tie. Et puis le pilo­tage de ce type de logi­ciel se fait à la sou­ris, ce qui peut par­fois être peu ergo­no­mique, par exemple quand on doit enchaî­ner ou super­po­ser plein de sons.

En live, le logiciel de samples pour DJ

Dans le cadre de l’é­mis­sion Léthar­giques Sub­stances Dis­pa­rates, j’ai pris le par­ti d’u­ti­li­ser, après l’a­voir confi­gu­ré spé­cia­le­ment, le logi­ciel Mixxx, conçu en pre­mier lieu pour les DJ numé­riques, sou­vent consi­dé­ré comme un clône de Trak­tor.

Inter­face du logi­ciel Mixxx pour la réa­li­sa­tion d’une émis­sion aux mul­tiples super­po­si­tions de sons.

Sur l’in­ter­face de ce logi­ciel, on peut contrô­ler jus­qu’à 4 fichiers audio de manière très pré­cise, avec points de répé­ti­tion, éga­li­sa­tion, effets, etc. Puis en des­sous, on peut char­ger un grand nombre de courts fichiers échan­tillons (samples), que l’on pour­ra lan­cer à la demande, ponctuellement.

Ce qui est très inté­res­sant, c’est que ce genre d’ou­til peut se pilo­ter très sim­ple­ment par n’im­porte quel contrô­leur midi. Dans le mon­tage ci-des­sous, j’illustre très rapi­de­ment com­ment les quatre pre­mières pistes sont contrô­lées par un nano Kontrol2 de chez Korg, très acces­sible. Ces réglages me sont tout à fait spé­ci­fiques, car chaque uti­li­sa­teur peut faire les asso­cia­tions de son choix.

En uti­li­sant la par­tie basse du logi­ciel, on peut faci­le­ment trans­for­mer Mixxx en un car­tou­cheur, pour répondre aux besoins d’une émis­sion de radio classique.

Les instruments virtuels échantillons

Cepen­dant, ces deux confi­gu­ra­tions ne satis­fai­saient pas plei­ne­ment cer­tains de mes besoins. En effet, si on y charge les fichiers par glisser/déposer , et que l’on peut sau­ver la confi­gu­ra­tion dans un fichier, je trouve cette confi­gu­ra­tion pré­caire : une mau­vaise mani­pu­la­tion, et on peut tout casser.

Quand je réflé­chis­sais à tout cela, j’ai pen­sé au petit cla­vier Bon­tem­pi uti­li­sé par ma fille (que j’a­vais mis en pho­to sur un pré­cé­dent billet), et qui per­met de lan­cer sim­ple­ment de courts échan­tillons, à la manière d’Ar­dis­son dans ses émis­sions télé­vi­sées des années 2000.

Et c’est là que j’ai décou­vert les for­mats sf2 et sfz, aus­si appe­lés sound­font. L’i­dée est d’as­so­cier à chaque note midi un échan­tillon sonore, qui sera joué par un petit logi­ciel, en y ajou­tant des contraintes de répé­ti­tion, d’ef­fets, etc.

On trouve en ligne beau­coup de biblio­thèques à ce for­mat, per­met­tant d’a­jou­ter faci­le­ment à une sta­tion audio­nu­mé­rique (ardour, rea­per) des sons réa­listes joués par une piste midi. Cer­tains sont payants, d’autres gra­tuits (free sfz sound­fonts, free sound­fonts, etc.)…

Dans la suite, je vais racon­ter mes expé­ri­men­ta­tions avec le for­mat sfz, depuis la fabri­ca­tion du fichier jus­qu’à la confi­gu­ra­tion logi­cielle et du contrôle midi.

Écrire un fichier sfz

Il existe plu­sieurs docu­men­ta­tions dis­po­nibles pour le for­mat sfz, tout d’a­bord sur le site du for­mat lui-même, mais aus­si sur le site de linux­sam­pler. Dans le fichier qui suit, j’ai créé deux groupes d’é­chan­tillons. Ceux du pre­mier groupe ne seront joués qu’une fois, quand ceux du second le seront en boucle jus­qu’à ce que la touche soit relâ­chée (loop_mode=loop_continuous). À noter cepen­dant que pour que cela fonc­tionne avec linux­sample, j’ai dû ren­sei­gner le début et la fin de la boucle (loop_start et loop_end).

Dans ce fichier sfz, que j’ai pla­cé dans le même dos­sier que l’en­semble des fichiers échan­tillons au for­mat wav, j’ai éga­le­ment impo­sé que la vélo­ci­té soit for­cée, et non contrô­lée par le cla­vier (amp_veltrack=0). En effet, par défaut les contrô­leurs midi per­mettent de doser l’in­ten­si­té d’un son. Ici, j’ai envie que tous mes extraits soient joués avec la même inten­si­té sonore.

Pour finir, j’ai asso­cié une note midi (iden­ti­fiée par un entier dans la norme) à chaque échan­tillon. Ici, je n’ai choi­si que les touches blanches de mon contrô­leur, pour en faci­li­ter l’utilisation.

<global>
amp_veltrack=0 
<group>
loop_mode=one_loop
<region> sample=son-01.wav key=60
<region> sample=son-02.wav key=62
<region> sample=son-03.wav key=64
<region> sample=son-04.wav key=65
<region> sample=son-05.wav key=67
<region> sample=son-06.wav key=69
<region> sample=son-07.wav key=71
<region> sample=son-08.wav key=72
<region> sample=son-09.wav key=74
<region> sample=son-10.wav key=77
<region> sample=son-11.wav key=81


<group> 
loop_mode=loop_continuous
<region> sample=boucle-12.wav key=76 loop_start=0 loop_end=140731
<region> sample=boucle-13.wav key=79  loop_start=0 loop_end=129874

Les pos­si­bi­li­tés de ce for­mat sont bien plus grandes que celles pré­sen­tées ici. On peut contrô­ler beau­coup d’as­pects de la dif­fu­sion du son, pour l’a­dap­ter à son cas d’u­ti­li­sa­tion. Je vous laisse par­cou­rir la docu­men­ta­tion pour en savoir plus.

À noter que j’ai uti­li­ser le logi­ciel poly­phone pour connaître la durée de mes deux fichiers boucle. Poly­phone est une inter­face gra­phique per­met­tant de fabri­quer des fichiers sf2 sans rien écrire à la main. Les réglages pro­po­sés semblent aus­si com­plets que ce que le for­mat per­met de faire à la main. Inté­res­sant pour quel­qu’un qui serait effrayé par l’é­cri­ture d’un fichier à la syn­taxe précise…

Configurer un contrôleur midi avec jackd

Sous GNU/Linux, on dis­pose d’un ser­veur son temps réel, jackd, qui prend éga­le­ment en charge le midi. J’u­ti­lise pour ma part l’in­ter­face Cadence pro­po­sée par KXS­tu­dio pour démar­rer mon ser­veur jackd. À noter, comme illus­tré dans la cap­ture d’é­cran ci-des­sous, qu’il ne faut pas oublier d’ac­ti­ver le pont MIDI entre alsa et jackd. On peut aus­si faire ça en ligne de com­mande, c’est assez bien docu­men­té, mais assez subtil… 

L’in­ter­face de Cadence pour contrô­ler Jack

Jouer les sons d’un sfz au clavier

Le logi­ciel que j’u­ti­lise pour lan­cer des sons sfz depuis un contrô­leur audio est QSam­pler, une inter­face gra­phique à linux­sam­pler. Quand on lance QSam­pler, il lance linux­sam­pler en arrière-plan. On peut alors uti­li­ser Catia pour connec­ter la cap­ture midi du sys­tème à l’en­trée midi de Linux­Sam­pler (connec­tion rouge), puis la sté­réo sor­tate de Linux­Sam­pler aux play­back du sys­tème (deux lignes bleues en haut à droite).

Cap­ture d’é­cran de Catia, qui pro­pose une inter­face très flexible de rou­tage du son et du midi de jack.

Dans QSam­pler, on peut alors ajou­ter un canal, en y char­geant le fichier sfz écrit pré­cé­dem­ment, puis en confi­gu­rant l’en­trée et la sor­tie sur jack.

On peut main­te­nant jouer au cla­vier sans se pré­oc­cu­per des détails les sons choi­sis, et sans risque de cas­ser quelque chose pen­dant le direct…