Pictoparle, septième sprint

Sixième sprint de l’application Pic­to­parle, un outil de com­mu­ni­ca­tion alter­na­tive et aug­men­tée des­ti­né aux per­sonnes en situa­tion de défi­cience visuelle ren­con­trant des dif­fi­cul­tés dans la com­mu­ni­ca­tion orale. On peut bien sûr aller voir ce qui s’est pas­sé lors des sprints pré­cé­dents, car je par­le­rai ici uni­que­ment des avan­cées de la der­nière semaine.

Cette semaine a été assez active. J’ai tra­vaillé sur le site inter­net pour le rendre plus lisible, j’ai ajou­té l’ex­port pdf des planches pour l’im­pres­sion sur la fabrique de Pic­to­parle, et j’ai fina­li­sé un pre­mier pro­to­type phy­sique, que nous avons pu tes­ter.

Site internet

J’ai refon­du le site inter­net de Pic­to­parle pour bien dis­tin­guer les pages expli­quant com­ment on peut uti­li­ser Pic­to­parle des pages qui décrivent le déve­lop­pe­ment et le fonc­tion­ne­ment interne de l’ou­til.

Cap­ture d’é­cran de la pre­mière page de Pic­to­Parle pré­sen­tant les trois étapes de l’u­sage : fabri­quer son dis­po­si­tif, conce­voir ses planches, uti­li­ser Pic­to­Parle

En sépa­rant ces deux par­ties, j’es­père rendre plus com­pré­hen­sible ce pro­jet à deux niveaux de lec­ture dif­fé­rents.

Planches prêtes à l’impression

J’ai ajou­té à la fabrique de pic­to­parle l’ex­port en pdf des deux pages qui per­met­tront à tout uti­li­sa­teur ou uti­li­sa­trice d’im­pri­mer ses propres planches. Chaque pdf ain­si expor­té est com­po­sé de deux pages : la pre­mière page avec les pic­to­grammes pour ther­mo­gon­flage, la seconde qui sera pla­cée au ver­so, en impres­sion simple, et qui com­porte le QRcode pour la détec­tion auto­ma­tique des planches.

Tech­ni­que­ment, j’ai uti­li­sé deux librai­ries très bien pen­sées : jsPDF pour la fabri­ca­tion du pdf, et bwip-js pour la géné­ra­tion du QRcode.

J’en ai pro­fi­té pour amé­lio­rer un peu l’in­ter­face et l’u­ti­li­sa­bi­li­té de la fabrique sur quelques petits détails.

Prototype physique

En début de semaine, j’ai revu l’as­sem­blage des planches et du boî­tier, car la pre­mière solu­tion envi­sa­gée ren­dait les planches trop volu­mi­neuses.

Assem­blage sim­pli­fié de la planche sur le boî­tier

La nou­velle jonc­tion ima­gi­née me sem­blait inté­res­sante, aus­si je suis pas­sé à sa fabri­ca­tion en car­ton-bois, en sui­vant les conseils de Clé­ment, un ancien étu­diant en archi­tec­ture qui a dû en faire, des maquettes.

L’as­sem­blage s’est presque bien pas­sé, et j’ai pu faire tes­ter le dis­po­si­tif à une uti­li­sa­trice. La pro­chaine étape sera d’im­pri­mer des planches ther­mo­gon­flées com­plètes, ce que je n’a­vais pas eu le temps de faire.

Fabri­ca­tion puis pre­mières uti­li­sa­tions du boî­tier et de la planche Pic­to­Parle.

À l’u­sage, la recon­nais­sance de la planche n’est pas encore assez robuste, mais j’u­ti­lise encore les QRcodes des­si­nés à la main, je suis impa­tient d’u­ti­li­ser une ver­sion impri­mée. L’as­sem­blage entre planche et boî­tier est per­fec­tible, d’une part avec une meillure pré­ci­sion d’as­sem­blage, mais éga­le­ment avec un rehaus­se­ment des par­ties laté­rales, et peut-être j’a­jout d’une barre de main­tient, telle que le pré­sen­tait la maquette numé­rique.

Je suis éga­le­ment impa­tient d’es­sayer la découpe laser de medium, pour obte­nir un ren­du plus solide, et plus agréable… Mais il fau­dra pour cela implé­men­ter un géné­ra­teur de DXF pour la découpe !

J’a­vais un peu peur de la consom­ma­tion de la camé­ra pour la détec­tion de planches, mais d’a­près mes tests, on est à envi­ron 45 mAh pour 10 minutes d’u­ti­li­sa­tion de l’ap­pli­ca­tion, ce qui laisse pré­sa­ger une auto­no­mie de plus d’une dizaine d’heures.

Prochains développements

Les pro­chains déve­lop­pe­ments s’o­rien­te­ront pro­ba­ble­ment sur le géné­ra­teur de DXF pour la découpe laser, et sur des tests uti­li­sa­teur pour vali­der les approches explo­rées.

Pictoparle, sixième sprint

Sixième sprint de l’application Pic­to­parle, un outil de com­mu­ni­ca­tion alter­na­tive et aug­men­tée des­ti­né aux per­sonnes en situa­tion de défi­cience visuelle ren­con­trant des dif­fi­cul­tés dans la com­mu­ni­ca­tion orale. On peut bien sûr aller voir ce qui s’est pas­sé lors des sprints pré­cé­dents, car je par­le­rai ici uni­que­ment des avan­cées de la der­nière semaine.

Ce week-end, je me suis essen­tiel­le­ment consa­cré au déve­lop­pe­ment d’un outil per­met­tant de fabri­quer ses propres planches pour Pic­to­parle. En voi­ci une démons­tra­tion.

Démons­tra­tion de la fabrique de Pic­to­parle

Comme pré­sen­té dans cette vidéo, on peut choi­sir par­mi dif­fé­rentes mises en page, ou encore char­ger une planche déjà fabri­quée par le pas­sé. On peut ensuite asso­cier à chaque pic­to­gramme une image, et un texte.

Après avoir choi­si un nom à cette planche, on peut alors la sau­ver. Un fichier au for­mat zip est alors géné­ré. Après avoir trans­fé­ré ce fichier sur la tablette (en la connec­tant par usb à l’or­di­na­teur), on uti­lise alors le ges­tion­naire de planches de Pic­to­parle pour char­ger cette nou­velle planche.

Dans la démons­tra­tion vidéo, on peut voir d’autres mises en page que les mises en page pré­cé­dem­ment pré­sen­tées.

Pen­dant ce sprint, j’ai uti­li­sé JSZip et boots­trap pour la concep­tion de la fabrique de pic­to­parle, et j’ai éga­le­ment cor­ri­gé quelques bugs dans l’ap­pli­ca­tion Android.

Essayer la fabrique de Pictoparle

La fabrique à Pic­to­parle est dis­po­nible en ligne, n’hé­si­tez pas à l’es­sayer, et à me faire part des dys­fonc­tion­ne­ments, com­por­te­ments pro­blé­ma­tiques, ou amé­lio­ra­tions pos­sibles.

Futurs développements

La fabrique de pic­to­parle en est à sa toute pre­mière ver­sion. Dans les pro­chains sprints, je compte notam­ment ajou­ter la géné­ra­tion des docu­ments per­met­tant la fabri­ca­tion de la planche phy­sique.

Pictoparle, cinquième sprint

Cin­quième sprint de l’application Pic­to­parle, un outil de com­mu­ni­ca­tion alter­na­tive et aug­men­tée des­ti­né aux per­sonnes en situa­tion de défi­cience visuelle ren­con­trant des dif­fi­cul­tés dans la com­mu­ni­ca­tion orale. On peut bien sûr aller voir ce qui s’est pas­sé lors des sprints pré­cé­dents, car je par­le­rai ici uni­que­ment des avan­cées de la der­nière semaine.

Assemblage des planches

J’ai tout d’a­bord for­ma­li­sé sous forme d’une maquette numé­rique une pro­po­si­tion d’as­sem­blage des planches, qui prend en compte le fait que la détec­tion des planches est assu­rée par la web­cam et les QRcodes. Il est ain­si néces­saire que le geste soit le plus constant pos­sible à chaque mani­pu­la­tion, afin de faci­li­ter la détec­tion.

Concept d’as­sem­blage des planches.

Dans cette pro­po­si­tion, l’u­ti­li­sa­teur est invi­té à poser le bas de la planche
sur la tablette, puis à la faire glis­ser jus­qu’aux butées pré­vues à cet effet,
avant de faire pivo­ter la planche sur la tablette. J’ai ima­gi­né un bord de tablette éva­sé, de sorte à faci­li­ter le posi­tion­ne­ment de la tablette au début (les deux « pattes » étant plus écar­tées que le bord de la tablette), puis qui s’é­carte vers le bas de la tablette. Une fois posi­tion­né, la planche est sta­bi­li­sée grâce aux pattes, et aux bords sur­éle­vés de la boîte en haut et en bas.

Sur la vue 3D, je n’ai pas vrai­ment tra­vaillé l’é­pais­seur de la planche (les pic­to­grammes semblent un peu trop en creux), ni l’es­pace de confort entre les pic­to­grammes et le bord des cadres. D’ailleurs, la taille des pic­to­grammes est un peu approxi­ma­tive, c’est plus une vue d’ar­tiste qu’un pro­to­type réa­liste.

Cette maquette numé­rique a été un outil de dis­cus­sion avec les pro­fes­sion­nelles qui m’ac­com­pagnent dans la concep­tion de cette solu­tion.

Gestion des planches personnalisées

Lorsque j’ai com­men­cé Pic­to­parle, on m’a très vite deman­dé si les planches pour­raient être per­son­na­li­sables. C’é­tait bien sûr mon inten­tion dès le début, mais les pre­miers pro­to­types n’en étaient pas capables.

C’est main­te­nant chose faite, avec la pos­si­bi­li­té d’im­por­ter des planches dans un for­mat dédié, pour lequel je fabri­que­rai pro­chai­ne­ment un outil d’as­sis­tance à la concep­tion :

Ges­tion des planches dans Pic­to­parle

Dans cet extrait, on découvre que six pic­to­grammes consti­tuent le défaut de Pic­to­parle, qui peut ensuite être enri­chi faci­le­ment de nou­velles planches. Toutes les planches, qu’elles soient fixes ou per­son­nelles, peuvent être désac­ti­vées à volon­té. Le for­mat lu par Pic­to­parle est une archive zip conte­nant un fichier xml de des­crip­tion de la planche, et les images (actuel­le­ment au for­mat png) de cha­cun des pic­to­grammes. Lorsque les sons per­son­na­li­sés seront pris en charge par l’ap­pli­ca­tion, ils seront éga­le­ment inté­grés aux fichiers.

Petites améliorations logicielles

De manière géné­rale, en inté­grant cette nou­velle fonc­tion­na­li­té, j’en ai pro­fi­té pour amé­lio­rer la sta­bi­li­té, la per­for­mance, et l’er­go­no­mie de l’ap­pli­ca­tion. Au fil des sprints, j’es­saye de rendre le code source du logi­ciel le plus facile à prendre en main. Sur ce type de pro­jet, où l’on tra­vaille par inter­mit­tence à son amé­lio­ra­tion, il est essen­tiel d’a­voir un code source bien struc­tu­ré et rela­ti­ve­ment bien docu­men­té, sans code mort. Tout n’est pas par­fait, loin de là, mais j’en suis tout de même assez content.

Réflexions sur les alternatives à Pictoparle

En échan­geant avec un membre d’ISAAC fran­co­phone, je me deman­dais ce qui fai­sait la spé­ci­fi­ci­té de Pic­to­parle par­mi les solu­tions exis­tantes de com­mu­ni­ca­tion amé­lio­rée et aug­men­tée. J’ai donc ajou­té au site inter­net une des­crip­tion de ses spé­ci­fi­ci­tés.

Pictoparle, quatrième sprint

Qua­trième sprint de l’application Pic­to­parle, un outil de com­mu­ni­ca­tion alter­na­tive et aug­men­tée des­ti­né aux per­sonnes en situa­tion de défi­cience visuelle ren­con­trant des dif­fi­cul­tés dans la com­mu­ni­ca­tion orale. On peut bien sûr aller voir ce qui s’est pas­sé lors du sprint pré­cé­dent, car je par­le­rai ici uni­que­ment des avan­cées de la der­nière semaine.

La vidéo ci-des­sous per­met d’ap­pré­cier une grande par­tie des amé­lio­ra­tions de cette nou­velle ver­sion :

Démons­tra­tion du qua­trième pro­to­type

Tout d’a­bord, on peut y voir les pre­miers pro­to­types de planches phy­siques. Elles sont pour l’ins­tant en car­ton souple, et les pic­to­grammes y sont des­si­nés au feutre noir. Pas encore de mise en relief des des­sins, ni des espaces inter-pic­to­grammes. Le sup­port n’est pas non plus assez rigide pour un usage fluide. Une petite exten­sion car­rée en haut de la planche per­met de por­ter au ver­so le QRcode d’i­den­ti­fi­ca­tion de la planche.

Car c’est l’une des avan­cées que j’at­ten­dais depuis long­temps : la détec­tion auto­ma­tique des planches à leur approche au des­sus de la tablette, grâce à cette iden­ti­fi­ca­tion gra­phique. Il y aura bien sûr pas mal d’op­ti­mi­sa­tions pour arri­ver à une uti­li­sa­tion fluide, mais les bases sont là car la détec­tion fonc­tionne même avec des QRCodes des­si­nés à la main. En sui­vant les sug­ges­tions de Laurent Pro­vot, j’ai uti­li­sé la librai­rie zxing.

Grâce aux dis­cus­sions avec les pro­fes­sion­nelles du CRDV impli­quées dans la concep­tion de l’ou­til, cette nou­velle ver­sion per­met de confi­gu­rer des planches conte­nant plu­sieurs pan­neaux de pic­to­grammes dis­tri­bués en grille. Chaque groupe peut avoir sa taille de pic­to­grammes. On peut par exemple repro­duire sur chaque planche un pan­neau fixe, avec les pic­to­grammes récur­rents. C’est ce qui a été expé­ri­men­té sur le pro­to­type de cette semaine.

Par­mi les amé­lio­ra­tions non visibles, mais qui sont essen­tielles au fonc­tion­ne­ment de Pic­to­parle, on peut citer l’u­ti­li­sa­tion d’une tâche (thread) sépa­rée pour gérer la camé­ra.

Améliorations futures

Les pro­chaines amé­lio­ra­tions concer­ne­ront pro­ba­ble­ment l’in­té­gra­tion de sons enre­gis­trés pour amé­lio­rer les retours audio, la conso­li­da­tion de la détec­tion auto­ma­tique des planches, l’a­mé­lio­ra­tion du pro­to­type phy­sique qui entou­re­ra la tablette, ou encore la pos­si­bi­li­té de chan­ger de planches sans devoir recom­pi­ler l’ap­pli­ca­tion.

Pictoparle, troisième sprint

Troi­sième sprint de l’ap­pli­ca­tion Pic­to­parle, un outil de com­mu­ni­ca­tion alter­na­tive et aug­men­tée des­ti­né aux per­sonnes en situa­tion de défi­cience visuelle ren­con­trant des dif­fi­cul­tés dans la com­mu­ni­ca­tion orale. On peut bien sûr aller voir ce qui s’est pas­sé lors du sprint pré­cé­dent, car je par­le­rai ici uni­que­ment des avan­cées de la der­nière semaine.

Tout d’a­bord, Pic­to­parle se dote d’un site inter­net, acces­sible à l’a­dresse pictoparle.jmfavreau.info. On y retrouve une expli­ca­tion détaillée des objec­tifs de l’ou­til, de son mode de fonc­tion­ne­ment, et on peut suivre dans le détail le déve­lop­pe­ment, grâce à des liens vers les billets de ce blog.

Du côté de l’ap­pli­ca­tion, les avan­cées visibles de cette semaine concernent prin­ci­pa­le­ment l’in­ter­face, et la pos­si­bi­li­té de modi­fier dans les pré­fé­rences cer­tains réglages, pour adap­ter l’ou­til à son uti­li­sa­teur ou uti­li­sa­trice. On com­mence par une vidéo de démons­tra­tion :

Démons­tra­tion du troi­sième pro­to­type

L’a­jout qui a pris le plus de temps, mais qui faci­li­te­ra gran­de­ment le déve­lop­pe­ment par la suite, est l’u­ti­li­sa­tion d’une inter­face telle que pré­co­ni­sée, avec une barre supé­rieure, un bou­ton de navi­ga­tion en haut à gauche, et un menu glis­sant sur le côté.

Menu laté­ral ouvert.

Une fois cela réa­li­sé, j’ai ajou­té une page de pré­fé­rences per­met­tant à l’u­ti­li­sa­teur d’a­jus­ter le com­por­te­ment de l’ap­pli­ca­tion : ver­bo­si­té des noti­fi­ca­tions sonores, réglages du double tap, réglage de la détec­tion de planche, ajus­te­ment de l’af­fi­chage pour éco­no­mi­ser de l’éner­gie, et pour ajus­ter la taille réelle des pic­to­grammes.

Le pan­neau laté­ral per­met aus­si l’af­fi­chage de la planche de pic­to­grammes. Dans ce cas, un bou­ton caché dans l’une des marges cen­trales per­met de fer­mer cet aper­çu. J’ai ajou­té cette fonc­tion­na­li­té en pen­sant aux tablettes qui pour­raient ne pas avoir de camé­ra, ou ne pas avoir auto­ri­sé l’u­ti­li­sa­tion de la camé­ra par l’ap­pli­ca­tion.

À ce pro­pos, j’ai aus­si ajou­té un mes­sage de demande d’au­to­ri­sa­tion d’ac­cès à la camé­ra inté­grée, pour faci­li­ter l’ins­tal­la­tion de l’ap­pli­ca­tion.

Demande d’au­to­ri­sa­tion d’ac­cès à la camé­ra, néces­saire à la détec­tion de planche.

J’ai éga­le­ment ajou­té une entrée dans le menu per­met­tant de quit­ter l’ap­pli­ca­tion, ce qui jus­qu’à pré­sent néces­si­tait d’u­ti­li­ser une astuce avec le bou­ton phy­sique on/off de la tablette.

Améliorations futures

Une liste des déve­lop­pe­ments envi­sa­gés sur l’ap­pli­ca­tion est dis­po­nible sur le dépôt github du pro­jet, en langue anglaise. En par­ti­cu­lier, en plus des amé­lio­ra­tions déjà évo­quées pré­cé­dem­ment, je pré­vois la mise à dis­po­si­tion d’une appli­ca­tion en ligne qui per­met­tra de fabri­quer ses propres planches, et de les ajou­ter sim­ple­ment dans l’ap­pli­ca­tion tablette.

Pictoparle, deuxième sprint

Deuxième sprint de déve­lop­pe­ment de l’ap­pli­ca­tion Pic­to­parle, un outil de com­mu­ni­ca­tion alter­na­tive et aug­men­tée des­ti­né aux per­sonnes en situa­tion de défi­cience visuelle ren­con­trant des dif­fi­cul­tés dans la com­mu­ni­ca­tion orale. On peut bien sûr aller voir ce qui s’est pas­sé lors du pre­mier sprint, car je ne par­le­rai ici que des avan­cées de ce week-end.

Ces avan­cées concernent prin­ci­pa­le­ment la ges­tion de plu­sieurs planches, et l’a­mé­lio­ra­tion des inter­ac­tions. On com­mence par une vidéo de démons­tra­tion :

Cette vidéo com­mence par un détail, mais qui n’en est pas un quand on a peu l’ha­bi­tude de mani­pu­ler une tablette : le double tap qui per­met de lan­cer les sons ignore main­te­nant les autres doigts posés sur la sur­face. Ce n’est pas un com­por­te­ment stan­dard des dis­po­si­tifs d’in­te­rac­tion tac­tile, mais j’ai choi­si d’a­jou­ter cette fonc­tion­na­li­té pour ne pas mettre de bar­rière à l’ex­plo­ra­tion des reliefs des pic­to­grammes (pour rap­pel, la planche sera gar­nie de pic­to­grammes en relief). J’ai éga­le­ment pré­pa­ré le ter­rain pour la confi­gu­ra­tion fine des para­mètres de double tap, afin de l’a­dap­ter au mieux à chaque uti­li­sa­teur.

La deuxième avan­cée de ce sprint est évi­dente : la pos­si­bi­li­té de chan­ger de planche. La tablette détecte grâce à la camé­ra en façade lorsque l’on pose ou retire une planche de sa sur­face. L’ap­pli­ca­tion pro­pose alors un menu pour choi­sir la planche qui sera posée ensuite. Ces dif­fé­rentes inter­ac­tions sont ver­ba­li­sées par la tablette grâce à la syn­thèse vocale.

Améliorations à venir

L’une des pro­chaines amé­lio­ra­tions de l’ap­pli­ca­tion sera la détec­tion auto­ma­tique des planches, en s’ap­puyant sur la pré­sence au ver­so de celles-ci d’i­den­ti­fiants QR-code. L’a­jout d’un menu de réglage des para­mètres de l’ap­pli­ca­tion est aus­si pour bien­tôt.

Il fau­dra ensuite tes­ter la sta­bi­li­té de l’en­semble, et ajus­ter les para­mètres pour opti­mi­ser la consom­ma­tion d’éner­gie de l’ap­pa­reil.

Diffusion

Évi­dem­ment, le code source de l’ap­pli­ca­tion est dis­po­nible sous licence GPLv3 sur github, je publie­rai régu­liè­re­ment les avan­cées du pro­jet. Je serai plus que ravi d’a­voir vos retours, sug­ges­tions, etc.

J’es­père aus­si le rendre suf­fi­sam­ment adap­table pour qu’il puisse ser­vir à d’autres que la per­sonne pour qui je le conçois.

Pictoparle, premier sprint

Pic­to­parle, c’est une appli­ca­tion Android, et un dis­po­si­tif tan­gible à la sur­face de la tablette pour per­mettre la com­mu­ni­ca­tion alter­na­tive et aug­men­tée. J’a­vais déjà par­lé de l’i­dée en réflé­chis­sant au dis­po­si­tif, dans un billet pré­cé­dent.

Je viens de finir un pre­mier sprint de déve­lop­pe­ment de l’ap­pli­ca­tion, avec un pre­mier pro­to­type fonc­tion­nel, dont je vous pro­pose une démons­tra­tion en vidéo ci-des­sous :

Le dis­po­si­tif per­met d’ex­plo­rer par le tou­cher les pic­to­grammes, et de lan­cer un son asso­cié quand on fait un double tap. On place des­sus une planche pic­to­gramme en papier ther­mo­gon­flé, puis un cadre pour maté­ria­li­ser les cases.

L’ap­pli­ca­tion se lance en plein écran, tou­jours en mode pay­sage, en recou­vrant les deux barres haute et basse d’An­droid pour évi­ter toute inter­ac­tion mal­heu­reuse. En sup­pri­mant tout écran de ver­rouillage, et en acti­vant le démar­rage de la tablette par double touche, on obtient donc une tablette 100% dédiée à cette appli­ca­tion : impos­sible de la fer­mer par erreur, et faci­li­té de réac­ti­va­tion de la tablette si elle s’est mise en veille (double tap sur l’é­cran, ou pres­sion sur le bou­ton de démar­rage nor­mal). Je me suis éga­le­ment assu­ré que les bou­tons de volume ajustent l’in­ten­si­té du son de l’ap­pli­ca­tion.

En cette période de confi­ne­ment, je n’ai pas pu impri­mer de planche ther­mo­gon­flée, j’ai juste ajou­té ici pour la démons­tra­tion deux pic­to­grammes fabri­qués pré­cé­dem­ment, pour mon­trer que le double tap passe bien à tra­vers le papier ther­mo­gon­flé.

Au cours des pro­chains sprints, j’ai pré­vu d’a­mé­lio­rer ce pro­to­type de plu­sieurs manières :

  • Quand on laisse un autre doigt sur la tablette, les double tap ne sont pas recon­nus. Je vais cor­ri­ger ça par une approche mul­ti-touch.
  • Ajou­ter la ges­tion des mul­tiples planches, avec détec­tion auto­ma­tique du chan­ge­ment de planche par qr-code.
  • Ajou­ter la pos­si­bi­li­té d’a­voir ses propres enre­gis­tre­ments plu­tôt que la
    voix de syn­thèse de google.

Une fois le confi­ne­ment fini, je fabri­que­rai une petite boîte en bois à la
décou­peuse laser, à la manière de ce que j’a­vais fait pour le qui est-ce tac­tile, pour conte­nir la tablette, tout en lais­sant acces­sible les par­ties indis­pen­sables (recharges, contrôle de volume, etc). Le cadre de sur­face sera éga­le­ment décou­pé de la même manière, avec un sys­tème d’as­sem­blage qui j’es­père assu­re­ra une bonne fixi­té et qui sera faci­le­ment inter­chan­geable.

Évi­dem­ment, le code source de l’ap­pli­ca­tion est dis­po­nible sous licence GPLv3 sur github, et je publie­rai ici régu­liè­re­ment les avan­cées du pro­jet. Je serai plus que ravi d’a­voir vos retours, sug­ges­tions, etc.

Outil numérique pour la communication alternative augmentée

Les outils numé­riques peuvent-ils répondre de manière effi­cace aux besoins de com­mu­ni­ca­tion des per­sonnes qui n’ont pas accès à une com­mu­ni­ca­tion ver­bale ?

Depuis quelques temps, je m’in­té­resse aux outils issus de réflexions sur la com­mu­ni­ca­tion alter­na­tive et aug­men­tée. Des moyens de conti­nuer à s’ex­pri­mer quand on perd la parole. Cepen­dant, la plu­part de ces outils sont ima­gi­nés pour des uti­li­sa­teurs voyants. Il faut donc réflé­chir et adap­ter les choses pour les per­sonnes en situa­tion de défi­cience visuelle. C’est un che­mi­ne­ment logique qui pro­longe ce que j’ex­pé­ri­mente déjà sur le blog acces­si­bi­li­té, que je vous invite à consul­ter.

L’une des pistes les plus inté­res­sante que nous avons explo­rées est l’u­ti­li­sa­tion de pic­to­grammes tac­tiles : de petits des­sins en relief, fabri­qués très sim­ple­ment grâce à la tech­nique du ther­mo­gon­flage.

Pictogrammes tactiles
Quelques pic­to­grammes tac­tiles

Mais l’au­to­no­mie de l’u­ti­li­sa­teur n’est pas com­plète. Pour­quoi ne pas cou­pler le concept avec un dis­po­si­tif per­met­tant de jouer des échan­tillons sonores ? On pour­rait alors dis­po­ser d’un outil à la fois tac­tile, et qui « dit » à haute voix pour l’u­ti­li­sa­teur.

Quelques solutions existantes

On trouve sur le mar­ché des outils per­met­tant une telle aide à la com­mu­ni­ca­tion, sur lequel on pour­rait pla­cer des pic­to­grammes tac­tiles, mais ils sont très oné­reux, leur prix s’é­le­vant à plu­sieurs mil­liers d’eu­ros. On trouve aus­si des solu­tions très peu chères, mais dont la qua­li­té de fabri­ca­tion rend dif­fi­cile l’u­sage, tant les bou­tons sont capri­cieux.

Utiliser un contrôleur midi

La pre­mière piste que j’ex­pé­ri­mente depuis quelques temps uti­lise un contrô­leur midi, un petit ordi­na­teur et une petite enceinte.

D’un point de vue logi­ciel, il s’a­git de suivre la piste que j’a­vais explo­rée récem­ment pour jouer des échan­tillons sonores : on pré­pare pour chaque touche un fichier son, où l’on a enre­gis­tré le mes­sage à dif­fu­ser, puis on asso­cie à une note midi ce son, et le contrô­leur est l’in­ter­face uti­li­sa­teur.

Un contrô­leur type launch­pad, com­po­sé d’une grille de 8 par 8 bou­tons car­rés.

Dans ce contexte, j’i­ma­gi­ne­rais uti­li­ser un contrô­leur de type launch­pad, et col­ler sur chaque bou­ton un pic­to­gramme. Ces inter­faces per­met­tant de prendre en compte l’in­ten­si­té de pres­sion, on pour­rait même ima­gi­ner avoir une ver­sion chu­cho­tée, une ver­sion pro­non­cée nor­ma­le­ment, et une ver­sion criée de chaque son.

Pour l’in­for­ma­tique, un mini ordi­na­teur type rasp­ber­ry pi, consom­mant peu, mais fai­sant tour­ner un sys­tème GNU/Linux semble être une bonne piste. On peut alors bran­cher une enceinte com­pacte pour la dif­fu­sion du son.

sché­ma décri­vant les bran­che­ments entre les dif­fé­rents élé­ments du dis­po­si­tif (launch­pad, rasp­ber­ry pi, enceinte, 220v)

Le défaut de cette approche, c’est l’en­com­bre­ment et la consom­ma­tion élec­trique. On pour­rait bien sûr conce­voir une coque qui réunit les trois dis­po­si­tifs (contrô­leur, ordi­na­teur et enceinte), mais il fau­drait tout de même bran­cher l’ap­pa­reil sur une prise élec­trique, ou tra­vailler à l’in­té­gra­tion d’une bat­te­rie.

Au final, on se retrou­ve­rait à conce­voir un dis­po­si­tif com­plet, ce qui sou­vent est une approche plus coû­teuse que de s’ap­puyer sur une solu­tion maté­rielle grand public, et est sou­vent peu main­te­nable et repro­duc­tible. En réflé­chis­sant un peu plus loin, j’ai ima­gi­né une autre piste, celle de la tablette tac­tile.

Utiliser une tablette tactile

Une tablette tac­tile a cet avan­tage de dis­po­ser d’une face qui réagit au tou­cher, d’un ordi­na­teur capable de réa­li­ser tous les trai­te­ments dési­rés, d’un haut-par­leur inté­gré, et a une bonne capa­ci­té d’au­to­no­mie élec­trique. On en trouve à des tarifs très rai­son­nables, parce qu’is­sus de fabri­ca­tion en grande série pour le grand public. Ne peut-on pas l’a­dap­ter à nos besoins ?

Notons pour com­men­cer que la tablette détecte le contact d’un doigt grâce à une tech­no­lo­gie capa­ci­tive qui capte les varia­tions élec­tro­sta­tiques induites par cette proxi­mi­té. Si l’on place un papier entre l’é­cran et le doigt, la tablette est tou­jours capable de détec­ter la pré­sence d’un doigt.

Cla­ria vox, un télé­phone maté­ria­li­sant les bou­tons

La dif­fi­cul­té qui per­siste est la non maté­ria­li­sa­tion des bou­tons pour une per­sonne en situa­tion de défi­cience visuelle. Il faut donc pro­po­ser, à la manière de Cla­ria vox, d’une grille phy­sique per­met­tant de retrou­ver la posi­tion de cha­cun des bou­tons.

La pre­mière idée que j’ai ima­gi­née était l’u­ti­li­sa­tion d’une impri­mante 3D pour fabri­quer une coque en sili­cone, qui entou­re­rait toute la tablette, et vien­drait repro­duire cette idée. Il suf­fi­rait alors de glis­ser la feuille ther­mo­gon­flée entre l’é­cran et la coque.

Cepen­dant, cette approche a le défaut de rendre dif­fi­cile le chan­ge­ment des pic­to­grammes. Or, les tablettes ayant géné­ra­le­ment une taille de 10 à 12 pouces en dia­go­nale, on peut dif­fi­ci­le­ment pla­cer plus de 20 pic­to­grammes si on veut qu’ils soient lisibles au doigt. Après réflexion, il me semble plus facile d’i­ma­gi­ner un dis­po­si­tif où l’on découpe dans un car­ton épais (ou du medium fin) une grille, sous laquelle on vient col­ler la feuille ther­mo­gon­flée. En fixant sur le des­sus de la tablette quelques plots de posi­tion­ne­ment, on peut ain­si ima­gi­ner un dis­po­si­tif faci­le­ment inter­chan­geable.

Tablette équi­pée de plots de posi­tion­ne­ment, pour accueillir une planche de pic­to­grammes

D’un point de vue logi­ciel, plu­sieurs ques­tions se posent, qu’il fau­dra un peu expé­ri­men­ter : com­ment dis­tin­guer le geste de l’u­ti­li­sa­teur qui explore le pic­to­gramme pour l’i­den­ti­fier, du geste de l’u­ti­li­sa­teur qui sou­haite déclen­cher le son ? Une com­bi­nai­son de condi­tions sur la durée et le dépla­ce­ment pour­rait fonc­tion­ner.

Une amé­lio­ra­tion simple du dis­po­si­tif pour­rait consis­ter à inté­grer un petit tag NFC à chaque planche de pic­to­grammes, afin que la tablette détecte auto­ma­ti­que­ment celle qui vient d’être posi­tion­née à sa sur­face.

Extensions possibles

Une fois ima­gi­née cette inter­face par planches, on peut même ima­gi­ner d’autres uti­li­sa­tions que celles de la com­mu­ni­ca­tion non ver­bale. Ain­si, on pour­rait ima­gi­ner une inter­face sim­pli­fiée de lec­ture audio, pour que l’u­ti­li­sa­teur devienne auto­nome dans son écoute d’his­toires audio. On pour­rait ain­si avoir une case lecture/pause, une case pour le volume qui inté­gre­rait le glis­sé du doigt, et une case par type d’his­toire, clas­sée sui­vant les usages de l’u­ti­li­sa­teur (par durée, par type, etc.).

Edit

Depuis la publi­ca­tion de cet article, j’ai échan­gé avec plu­sieurs per­sonnes, qui ont ame­né à plu­sieurs sug­ges­tions inté­res­santes :

  • Uti­li­ser un outil d’i­mi­ta­tion de voix type Real-Time Voice Clo­ning (qui ne marche pour l’ins­tant qu’en anglais) pour que les bou­tons parlent avec la voix de l’u­ti­li­sa­teur. Il faut pour cela avoir des enre­gis­tre­ments audio (plus ou moins longs sui­vant la tech­no­lo­gie) pour obte­nir quelque chose d’in­té­res­sant.
  • Les cap­teurs NFC ont une posi­tion variable sur les tablettes, par­fois au centre, par­fois sur les bords, avec une por­tée de 2 à 3 cm. Il fau­dra donc faire atten­tion à l’en­droit où col­ler la puce NFC, mais leur taille réduite actuelle per­met beau­coup de choses.
  • Uti­li­ser un simple tap pour lan­cer le son est sans doute une mau­vaise piste, car il peut arri­ver que l’on explore un pic­to­gramme en lais­sant le doigt sta­tique. Pour cela, plu­sieurs approches : uti­li­ser le double tap, ou rem­pla­cer le dis­po­si­tif par des bou­tons qui s’en­foncent (avec un peu de méca­nique, ou des maté­riaux souples), afin de dis­tin­guer tou­cher et appui.
  • Le ther­mo­gon­flage s’use assez vite. Il pour­rait être inté­res­sant d’u­ti­li­ser un autre maté­riau, comme l’im­pres­sion 3D souple, ou l’u­si­nage de matière. Une autre piste pour­rait être l’u­ti­li­sa­tion de ver­nis.
  • Une solu­tion alter­na­tive aux plots consiste à fabri­quer un boî­tier autour de la tablette, comme une boîte ouverte, sur laquelle la planche inter­chan­geable vien­drait se pla­cer. Cela per­met, à la manière d’une coque, d’a­voir une pro­tec­tion pour la tablette. On peut ima­gi­ner une impres­sion 3D, ou toute autre forme de fabri­ca­tion.