WAI-Tools : faciliter l’implémentation de la directive relative à l’accessibilité numérique

La directive européenne 2016/2102 « relative à l’accessibilité des sites internet et des applications mobiles des organismes du secteur public » a été publiée en octobre 2016 ^[1]. Aujourd’hui, elle est transposée (ou en cours de transposition) dans les États membres de l’Union européenne. L’objectif principal de cette directive consiste à harmoniser la prise en compte de l’accessibilité numérique au sein de l’Union européenne, notamment par les mesures suivantes :

• utilisation d’une norme commune pour réaliser les évaluations d’accessibilité (la norme EN 301 549) ;
• définition d’un modèle de déclaration d’accessibilité (défini par la décision d’exécution 2018/1523) ;
• mise en place, par chaque État membre, d’un dispositif de contrôle de l’accessibilité (défini par la décision d’exécution 2018/1524).

Le projet WAI-Tools s’inscrit exactement dans cette perspective : aider les États à prendre acte de cette directive en construisant un écosystème harmonisé d’outils. Ce projet, débuté il y a un an et demi, est cofinancé par la Commission européenne dans le cadre du programme Horizon 2020 ^[2].

Aujourd’hui, le projet WAI-Tools s’articule autour des éléments suivants :

• Accessibility Conformance Testing Rules Format (ACT Rules format) : recommandation candidate du W3C depuis le 16 avril 2019, ce document définit un format pour la rédaction des tests d’accessibilité ;
• ACT-Rules : règles permettant l’évaluation de la conformité à WCAG 2.1, elles suivent le format ACT Rules Format ;
• un générateur de déclaration d’accessibilité ;
• la création d’un format ouvert basé sur EARL (Evaluation and Report Language) et TCDL (test case description) pour la publication des résultats d’évaluation ;
• l’amélioration de l’outil de reporting WCAG-EM (WCAG-EM report tool) avec l’ajout des fonctionnalités d’importation de résultats automatiques et semi-automatiques.

Retrouvez la liste complète des projets en cours et à venir sur le site officiel.

ACT-Rules : des règles unifiées pour évaluer la conformité

Shadi Abou-Zahra (du W3C) a présenté le projet Accessibility Conformance Testing (ACT).

Ce projet est né suite aux observations suivantes :

• Il existe aujourd’hui différents outils et méthodologies, qui mènent à des résultats différents, parfois même en contradiction complète ^[3], pour évaluer l’accessibilité. Ne pas pouvoir se reposer de manière certaine sur les outils et être sûr des résultats au regard de la norme constituent un frein à l’implémentation de l’accessibilité.
• Ces outils manquent de transparence. Pourquoi tel outil ou telle méthodologie produit tel résultat particulier ?

Le but d’ACT n’est pas de développer une énième méthodologie de test particulière. Son objectif premier est de rassembler les éditeurs d’outils et de méthodologies afin de s’entendre sur une interprétation uniforme des critères d’accessibilité à travers la rédaction consensuelle de tests, qui représentent un premier niveau d’interprétation.

ACT est composé de deux éléments :

• la recommandation Accessibility Conformance Testing Rules Format (ACT Rules format) qui définit le format pour la rédaction des tests d’accessibilité ;
• les règles ACT-Rules, construites en suivant le format ACT Rules Format, qui permettent l’évaluation de la conformité à WCAG 2.1. ACT-Rules rassemble un ensemble de règles, automatiques, semi-automatiques et manuelles, qui visent à uniformiser l’interprétation des critères de succès WCAG 2.1.

ACT invite les éditeurs d’outils ou de méthodologies à documenter leurs interprétations lorsque nécessaire ainsi que les différences d’implémentation connues avec d’autres outils. Ces différences peuvent résulter de législation locale ou d’interprétations interpersonnelles divergentes, mais également du fait d’un cadre de tests très particulier. Par exemple, dans le RGAA, en plus de la conformité à WCAG, on prend en compte le support des navigateurs et technologies d’assistance.

Pour ACT, toutes les méthodologies sont valables à partir du moment où elles sont documentées et transparentes. Ce qui importe c’est que les utilisateurs soient informés que telle méthodologie ou tel outil automatique réalise les tests de telle manière et peut produire tel type de résultat.

La directive européenne impose une norme de référence, mais pas de méthodologie de test. Néanmoins, la décision d’exécution, établissant la méthode de contrôle, précise que celle-ci devrait permettre de « garantir la comparabilité des résultats du contrôle ». De plus, « afin de favoriser l’échange de bonnes pratiques et promouvoir la transparence, les États membres devraient rendre publiques les modalités du contrôle, ainsi qu’un tableau de correspondance indiquant comment le contrôle et les tests effectués » respectent la norme EN 301 549. C’est bien ici que le travail fourni par le groupe de travail ACT prend toute sa valeur, comme ensemble de règles permettant de créer une table de relation plus simple entre des méthodologies ou ensemble de règles et la norme elle-même.

Pour une compréhension plus globale des objectifs d’ACT, je vous renvoie vers cet article de Wilco Fiers (Deque) « W3C is Coming to Your A11Y Tools ». En tant que facilitateur de la task force ACT Rules format et chair du groupe communautaire ACT Rules, il y explique en détail et de manière très claire les tenants et aboutissants de ce projet ACT.

Deux implémentations en cours

Dans les processus du W3C, pour qu’une recommandation devienne officielle, elle doit pouvoir présenter des « implémentations ». Une implémentation est la mise en œuvre de la recommandation par au moins deux entités indépendantes et distinctes. Dans le cadre de ACT Rules Format, des implémentations particulières sont attendues selon que les règles sont automatiques ou manuelles.

Pour une même règle, deux outils ou méthodologies doivent produire les mêmes résultats que ceux décrits dans la section « Test cases » de ladite règle ACT. En effet, chaque règle ACT est pourvue de cette section qui fournit des exemples de cas d’échec, de succès et de cas où la règle n’est pas applicable.

Lors de cette rencontre du W3C, Stein Erik Skotkjerra (SiteImprove) a ainsi présenté les deux premières implémentations publiques des règles ACT par deux outils de tests automatiques : aXe ^[4] (Deque) et Alfa (Siteimprove). Ces implémentations sont régulièrement mises à jour et publiées au format ouvert EARL sur le site du projet. Pour chaque cas de test de chaque règle d’ACT, il est indiqué comment l’outil l’évalue (conforme, non conforme, non applicable).

On compare ensuite l’ensemble de ces implémentations pour s’assurer que les cas de tests sont évalués de manière uniforme, quels que soient l’outil ou la méthodologie employés.

Observatoires de l’accessibilité

L’article 8 de la directive européenne « Contrôle et comptes rendus » indique que « les États membres contrôlent périodiquement la conformité des sites internet et des applications mobiles des organismes du secteur public avec les exigences en matière d’accessibilité ». C’est au travers de la décision d’exécution 2018/1524 que la Commission européenne en a d’ailleurs défini les modalités ^[5]. Rappelons que le premier rapport de contrôle doit être livré par chaque État membre à la Commission européenne avant le 23 décembre 2021.

Le Portugal et la Norvège sont déjà bien avancés sur le sujet. Lors de cette rencontre du W3C, ils ont partagé leur expérience. Ces pays emploient deux méthodes qui, même si elles sont construites sur le même objectif (évaluer la conformité à la norme WCAG), sont très différentes : dans un cas, une méthode basée uniquement sur des tests automatiques et dans l’autre, une méthodologie essentiellement manuelle.

Le Portugal : un observatoire en place depuis plus de 15 ans

Jorge Fernandes et Claudia Cardoso, de l’agence pour la modernisation de l’administration du Portugal, ont présenté l’observatoire de l’accessibilité numérique des sites publics en place dans le pays depuis 2005 et rendu public en 2008. Cet observatoire a récemment été refondu grâce au concours de l’Université de Lisbonne au travers du projet WAI-Tools.

L’administration portugaise est donc aujourd’hui équipée d’un écosystème complexe de 4 outils qui interagissent entre eux :

• AccessMonitor : génère un rapport automatique d’accessibilité pour une page donnée (à partir d’une URL, du code source ou d’un fichier HTML). Cet outil est en accès libre et gratuit.
• MyMonitor : gère l’évaluation d’un site complet (accès restreint).
• StudyMonitor : gère l’évaluation de l’accessibilité de plusieurs sites d’un même secteur (accès restreint).
• Et enfin, l’observatoire qui est le lieu de publication des données d’évaluation des sites publics (accès libre et gratuit). Seuls sont accessibles le résultat global et le résultat par critère, il n’y a toutefois aucun détail sur l’échantillon utilisé.

Les résultats des tests pour les sites des municipalités représentent le groupe de données publiées le plus important. Fait très intéressant, lorsque les municipalités découvrent l’existence de ces résultats, elles veulent en savoir plus, par exemple sur la composition de l’échantillon. À ce moment, les administrateurs leur fournissent des accès à l’exploration de résultats détaillés. L’observatoire, lorsque tout ou partie des résultats sont rendus publics, joue donc pleinement son rôle de sensibilisation.

De plus, avec plus de 300 municipalités évaluées et référencées, un réseau consacré à la problématique de l’accessibilité numérique est en train de se créer au sein du secteur public.

Pour l’instant, l’observatoire portugais gère les contrôles simplifiés uniquement avec les tests automatiques. L’outil est en train d’être modifié pour intégrer des données issues d’évaluations manuelles afin de pouvoir répondre aux exigences de la directive européenne concernant notamment les tests complets. Enfin, un deuxième axe de développement est de pouvoir récolter les déclarations d’accessibilité et de les traiter automatiquement.

L’Observatoire national norvégien

Dagfinn Romen a ensuite présenté l’observatoire national norvégien, dirigé par l’autorité norvégienne pour la conception universelle des TIC, qui est elle-même une antenne de l’agence pour la gestion publique et l’e-gouvernement (DiFi).

Les principales missions du DiFi pour l’accessibilité numérique sont :

• de suivre la conformité des sites publics au travers d’audit ;
• de sensibiliser et d’informer au travers de publication sur le site web de l’agence ;
• de participer à l’évolution du cadre juridique au niveau national et international ;
• de gérer l’application de la directive européenne et le monitoring en Norvège.

La Norvège dispose d’une réglementation sur la conception universelle des TIC depuis 2014. Celle-ci concerne aussi bien les sites web que les applications mobiles ou encore les distributeurs automatiques. En Norvège, tous les organismes du secteur public et les entreprises privées sont tenus de respecter la réglementation en vigueur.

La Norvège a démarré le monitoring des sites web en 2015. Entre 2015 à 2018, ce sont 30 contrôles complets qui ont été réalisés. En 2014, 304 sites web ont été évalués dans le cadre des contrôles simplifiés et en 2018, 278 sites web. En 2018, le monitoring des sites a fait ressortir une conformité moyenne de 60 %.

L’observatoire de Norvège possède sa propre méthodologie de tests, composée de 51 procédures, entièrement basés sur WCAG, majoritairement manuelles. La directive rend ce type de méthodologie manuelle trop coûteuse pour le nombre de sites à évaluer. De plus, l’entrée en vigueur de la norme WCAG 2.1 apporte de nouveaux critères qui viennent allonger la liste des tests manuels.

Pour le DiFi, l’arrivée de la directive européenne soulève donc de nouveaux enjeux :

• se doter d’un outil automatique pour être en capacité d’assurer l’ensemble des contrôles exigés par la directive ;
• être en mesure d’établir une table de relation entre les tests effectués par cet outil automatique et les procédures de tests définies en interne ;
• publier l’ensemble des résultats en suivant le format ouvert EARL.

Échantillons de pages des contrôles

La directive ne précise rien sur le nombre de pages à évaluer pour un site, sinon que « le contrôle porte sur un nombre de pages, outre la page d’accueil, approprié à la taille et à la complexité estimées du site internet ».

Au Portugal, dans le cadre de l’observatoire, il a été défini que le contrôle simplifié se constituerait autour d’un échantillon qui, partant de la page d’accueil du site, inclurait les pages principales du site qui disposent d’un lien depuis cette page d’accueil. Cela représente en moyenne un échantillon de 60 pages pour les contrôles simplifiés.

EARL : un format ouvert et standard pour partager les données de contrôles de l’accessibilité

Le projet WAI-Tools a choisi d’uniformiser les données issues des évaluations d’accessibilité. C’est le format EARL (Evaluation and Report Language), standard du W3C encore en écriture, qui a été retenu comme format d’échange de données entre tous les outils du projet.

Ainsi, les données issues d’un outil automatique (par exemple, aXe) qui se base sur ce format pourraient être incorporées directement dans la base de données de l’observatoire portugais. Ces résultats pourraient également être importés dans l’outil de gestion de rapport d’audit (WCAG-EM-Report Tool), afin de préremplir automatiquement les éléments relatifs à l’état des critères de succès.

Bien que la directive européenne n’impose a priori pas de format strict pour la livraison des rapports, il semblerait opportun que les États membres s’accordent sur des formats de publications des résultats qui permettent d’établir des comparaisons à grande échelle. Employer un format de publication unifié des résultats des contrôles va de toute façon dans le sens du besoin de transparence des résultats demandé par la directive européenne.

WADcher : Web Accessibility Directive Decision Support Environment

Le projet WADcher ne fait pas partie des projets du WAI-Tools, mais il poursuit un but similaire d’accompagnement pour la mise en œuvre de la directive européenne et a également fait l’objet d’un cofinancement par la Commission européenne. Il a été présenté durant cette journée par Yehya Mohamad de l’institut de Fraunhofer en Allemagne.

L’objectif du projet consiste à développer un environnement d’aide à la décision innovant et durable ainsi qu’un observatoire de l’accessibilité des sites web à grande échelle. Je vous renvoie sur le site web du projet qui détaille ses objectifs. Une plateforme est déjà en place. Elle permet de gérer des contrôles d’accessibilité et fournit déjà des statistiques. Une API a également été développée pour rendre possible la communication avec des outils externes.

Conclusion

Le projet WAI-Tools est en train de construire et rassembler un ensemble d’outils qui bénéficieront à toute la communauté de l’accessibilité numérique, et surtout aux États membres de l’Union européenne dans leur marche vers l’application de la directive européenne :

• le générateur de rapport d’audit (WCAG-EM Report tool) ;
• le générateur de déclaration de conformité (Accessibility statement generator tool) ;
• la définition d’un framework pour l’écriture de tests de l’accessibilité (ACT Rules format) ;
• les règles harmonisées de tests des WCAG (ACT-Rules) ;
• l’exploitation d’un format standard d’échange de données d’évaluation (EARL).

La France, bien que moins avancée sur le monitoring que ne l’est la Norvège par exemple, se situe à un stade similaire d’outillage. Pour l’instant, elle possède une méthodologie manuelle (RGAA 3 2017), et il lui faudrait se rapprocher des outils mis à disposition par le W3C afin de faciliter la mise en place du monitoring.

Cet observatoire de l’accessibilité demandé par la Commission européenne est une aubaine pour l’accessibilité numérique en France et en Europe. Nous pourrons accéder à des statistiques récoltées à grande échelle, qui rendront enfin compte, même s’il s’agit de tests partiels pour une large part, d’un véritable indice fiable de la proportion de la prise en compte de l’accessibilité numérique par les sites publics de l’administration française.

Comme l’a rapporté le Portugal, un tel observatoire peut créer un cercle vertueux : la publication de ces évaluations, si faite intelligemment (sur le mode informatif et non pas à des fins de critiques publiques), est un véritable vecteur de sensibilisation. Les États vont alors disposer d’un outil puissant pour communiquer sur ce qu’est l’accessibilité numérique, mais également alerter sur son taux de prise en charge afin d’encourager les entités concernées à prendre les mesures adéquates pour s’améliorer.

Rappelons qu’en France, pour les deux premières années du monitoring, ce sont un peu plus de 1400 sites web qui devront faire l’objet d’un contrôle simplifié chaque année. Bien qu’une large part sera effectuée par des outils automatiques, il n’en reste pas moins que cela demande un certain temps de conception (choix des tests à effectuer, échantillon de sites, échantillon de pages pour chaque site) et d’exploitation (exploitation des résultats, création des rapports, communication auprès des entités évaluées…).

En évaluant grossièrement, pour se faire une idée du chantier, si on rapporte à une demi-journée de travail la durée nécessaire pour effectuer les tâches préparatoires au contrôle simplifié d’un site, on peut estimer une charge de 700 jours. Et nous n’avons ni parlé des contrôles complets ni des évaluations d’applications mobiles, ni du travail de gestion, administration, suivi ou encore de publications des résultats auprès de la Commission européenne.

Le premier rapport devant être communiqué à la Commission le 23 décembre 2021, il reste un peu plus de deux ans à la France pour mettre en place son observatoire de l’accessibilité.

---