La conformité au RGAA : qu’est-ce que c’est ?

La mesure de conformité est un point central de l’accessibilité numérique au travers de l’application de référentiels basés sur les WCAG, dont le RGAA. Si la notion de conformité est simple à comprendre, son mécanisme de mesure, son utilisation et le sens à donner aux résultats obtenus génèrent beaucoup d’incompréhensions ou de malentendus.

Ainsi, dès lors que des discussions s’engagent sur ce sujet, on voit souvent apparaître des expressions comme « conformité absolue » ou « conformité stricte » qui servent généralement de socle à des critiques sur l’inadaptation de ce système de mesure, voire sur le conseil de son abandon pur et simple.

Cet article se propose d’expliquer les principes qui fondent la conformité au RGAA.

Comprendre ce qu’est la conformité

La conformité est le caractère de ce qui respecte les normes.
Elle désigne l’état de quelque chose (un bien, un service, une personne, un processus, une opinion…) qui est en parfait accord avec une règle ou un ensemble de règles. Ces règles sont généralement issues d’un domaine de référence (moral, social, juridique, technique…).

Il n’y a donc pas d’état intermédiaire entre la conformité et la non-conformité. « Conforme à 98 % » veut simplement dire « non conforme », rien de plus et rien de moins.

Tout est une question de règles

Le respect de règles élaborées pour atteindre un objectif donné est la fondation de la conformité. La conformité au RGAA tient ainsi au respect d’un ensemble de règles dont les principales sont :

• Une mesure du respect de l’ensemble des critères applicables du RGAA de niveau A et AA ;
• La présence d’un certain nombre de pages obligatoires, comme une page d’aide à l’utilisation des composants complexes ;
• La liste des contenus dérogés et leurs justifications ;
• La présence d’un moyen d’assistance à l’utilisateur qui rencontrerait des difficultés.

Le site est déclaré conforme au RGAA uniquement lorsque l’ensemble de ces règles sont respectées.

La règle qui oblige à respecter sans exception tous les critères des niveaux A et AA du RGAA constitue le cœur de la conformité. Cette règle est celle qui va poser le plus de problèmes : énoncée telle quelle – « tous les critères applicables A et AA du RGAA doivent être respectés » –, elle peut sembler trop contraignante. Il n’en est rien, car elle est accompagnée de dispositifs qui permettent son application raisonnable.

Changer la règle ne change pas la conformité

Imaginons par exemple que la règle énonce qu’un site doit respecter 50 % des critères de niveaux A et AA du RGAA : on aura changé les règles, mais pas la conformité. Pour être conforme, il faudra toujours respecter la règle et « conforme à 98 % » aura absolument le même sens : votre site n’est pas conforme.

La conformité est une simple mesure qui permet de vérifier que les règles ont été respectées. Ce qui est important n’est donc pas la conformité, mais la règle ou l’ensemble de règles à respecter.

La conformité au RGAA

La mesure de conformité aux critères du RGAA utilise un jeu de statuts. Un critère peut ainsi être :

• conforme (C),
• non conforme (NC),
• non applicable (NA)
• ou non testé (NT).

En parallèle, il existe un statut spécial qui indique un ou des contenus dérogés (D).

Le calcul se fait au prorata du nombre de critères conformes sur le nombre de critères applicables. Un site est déclaré conforme aux critères du RGAA lorsque cette mesure atteint 100 %.

La gestion des dérogations, au cœur de la conformité

La mesure de la conformité aux critères RGAA est constituée de deux éléments :

1. La vérification que tous les contenus sur lesquels peut s’appliquer un critère respectent la règle dudit critère ;
2. L’implémentation des dérogations prévues par le RGAA.

Les dérogations du RGAA jouent donc un rôle central dans la mesure de conformité. Elles sont de trois types :

1. Certaines sont insérées directement dans le critère via les cas particuliers. Par exemple, pour le critère sur les contrastes des textes, les textes faisant partie du logo d’une entreprise ne sont pas concernés.
2. D’autres sont prévues en cas d’impossibilité de moyens. Elles excluent du champ d’application du RGAA certains types de contenus comme des contenus archivés ou obsolètes ou encore des contenus en téléchargement en nombre important.
3. Enfin les contenus non contrôlés, provenant de sources extérieures, tels que des commentaires, un fil Twitter, la publicité, une Google Map, sont naturellement dérogés.

Les dérogations sur les contenus non contrôlés font partie des premières difficultés rencontrées quand on calcule la conformité. En effet, le RGAA ne définit pas ce qu’est une « source extérieure », ni ce que signifie exactement « ne pas en avoir le contrôle ».

Par exemple, le fil Twitter d’une entreprise, affiché sur la page d’accueil par l’intermédiaire de l’API Twitter, sera dérogatoire même si les tweets en question sont édités et publiés par l’entreprise elle-même. En l’occurrence, ce qui crée la dérogation n’est pas le contenu lui-même, mais le recours à une API non contrôlable.

En revanche, le fait que le CMS utilisé ne dispose pas de la possibilité de réaliser tel ou tel ajustement n’est pas un motif de dérogation, car le choix du CMS dépend entièrement de l’entreprise. Cette dernière devra, en conséquence, trouver les moyens de corriger les erreurs produites par le CMS.

On se casse souvent la tête sur ce genre de cas épineux, mais ce n’est pas la conséquence de la rigidité de la règle qui fonde la conformité, c’est simplement la rançon de la complexité des situations et des technologies en usage sur le web.

Si nous voulions avoir une règle parfaitement ajustable, il faudrait l’accompagner de la liste exhaustive de tous les cas possibles et imaginables qui pourraient justifier une dérogation en fonction des contenus, de leur origine, de la manière de les produire et des outils utilisés pour leur production. Entreprise extrêmement complexe, voire impossible, car le web est un écosystème en évolution constante. À la place, le RGAA propose un système souple de dérogations génériques placé sous la responsabilité des producteurs du site et de ses contenus.

Obligation d’aménagement raisonnable

Afin de bien comprendre le fonctionnement des contenus dérogés, il faut s’attarder sur un aspect essentiel de la conformité au RGAA : l’obligation d’aménagement raisonnable. Il s’agit de permettre de recourir à une alternative ou à un moyen de compensation dans le cas où un ajustement entraînerait la mise en place de moyens visiblement disproportionnés ou indus.

L’obligation d’aménagement raisonnable est issue de la Convention relative aux droits des personnes handicapées (CRDPH) qui fonde la notion de discrimination :

On entend par « aménagement raisonnable » les modifications et ajustements nécessaires et appropriés n’imposant pas de charge disproportionnée ou indue apportés, en fonction des besoins dans une situation donnée, pour assurer aux personnes handicapées la jouissance ou l’exercice, sur la base de l’égalité avec les autres, de tous les droits de l’homme et de toutes les libertés fondamentales

Techniquement, il peut se présenter trois cas :

1. Le contenu en cause est accompagné d’une alternative dans la même page

Par exemple, une entreprise a fait développer une carte interactive très sophistiquée, malheureusement inaccessible et dont la réparation est jugée trop coûteuse. En revanche, elle fournit, juste en dessous de la carte, un contenu alternatif reprenant l’intégralité des informations présentées.

Dans ce cas, il ne s’agit pas d’une dérogation, mais de l’application du principe de compatibilité avec l’accessibilité qui stipule qu’une technologie peut être utilisée de manière non compatible si les contenus et les fonctionnalités qu’elle contrôle sont disponibles d’une autre manière.

L’impact sur la conformité est alors nul ; les critères applicables à la carte interactive seront jugés conformes (C) puisqu’elle est accompagnée d’un contenu alternatif.

2. L’accès au contenu en cause nécessite le recours à un moyen de compensation

Imaginons un site de téléprocédures administratives, par exemple de dépôt de demande d’actes, qui propose de remplir des PDFs malheureusement pas accessibles. La solution idéale consisterait à dématérialiser la totalité de la procédure, mais cela nécessiterait de refaire l’intégralité du site ce qui est jugé déraisonnable à court terme (par exemple, parce qu’il n’y a plus assez de budget pour réaliser l’opération).

L’administration responsable du site doit assistance à l’utilisateur et va donc mettre en place un moyen de compensation. Elle peut ainsi mettre à disposition une assistance téléphonique, ou par e-mail, afin de permettre à l’utilisateur qui ne parvient pas à accéder aux PDFs de pouvoir déposer sa demande.

Dans ce cas de figure, les contenus concernés, en l’occurrence les PDFs, vont bénéficier d’une dérogation à la faveur d’un aménagement raisonnable. S’ils ne s’appliquent à aucun autre contenu dans la page, les critères applicables à ces contenus vont alors devenir non applicables (NA).

Ces deux premiers cas sont généralement simples à identifier et à catégoriser. Il existe cependant un troisième cas plus complexe et qui est sans doute celui qui génère le plus de débat. Il fait intervenir une notion particulièrement floue, souvent très discutée et difficile à estimer : l’impact réel sur l’utilisateur.

3. Dérogation pour aménagement jugé indu ou disproportionné par rapport à l’impact utilisateur

Pour des raisons contextuelles, un défaut d’accessibilité simple peut être impossible ou très difficilement corrigé. De nombreux professionnels de l’accessibilité ont connu cette situation où l’adaptation d’un titrage, la gestion d’une alternative d’image ou l’utilisation de listes posent des problèmes redoutables en termes d’adaptation.

Dans ce genre de cas, la dernière chose à faire est de s’accrocher à la conformité. Puisqu’il y a des difficultés jugées déraisonnables, il faut envisager le problème du point de vue de l’impact sur l’utilisateur.

Celui-ci est assez difficile à estimer. Il y a des cas simples comme la perte d’une information essentielle et des cas plus complexes, lorsque le défaut ne remet pas en cause l’accès à l’information, mais a des conséquences en termes d’utilisabilité et de complexité. Le RGAA fournit à cet effet un guide des impacts sur l’utilisateur des défauts d’accessibilité qui permettra de disposer d’une base d’analyse efficace.

Pour estimer l’impact utilisateur, il faut donc prendre en compte l’accès à l’information. Dans de nombreux cas, la correction d’un problème a priori simple peut générer des complexités importantes.

Prenons le cas d’un problème de hiérarchie de titrage et imaginons qu’il manque un niveau de titre quelque part dans la page.

Si la correction de ce problème nécessite le déploiement d’une charge de travail déraisonnable et que l’on constate que cette absence d’un niveau de titre n’a pas un impact majeur sur l’utilisateur, alors nous sommes fondés à décréter une dérogation pour aménagement déraisonnable ou indu.

Il faut néanmoins conserver à l’esprit que ce type de dérogation est à utiliser avec précaution, de préférence sous le contrôle d’un·e expert·e, parce que nous ne pouvons jamais connaître avec précision l’impact réel sur l’utilisateur.

Avertir et assister l’utilisateur si nécessaire

Dans tous les cas, l’utilisateur devra être prévenu et les moyens de compensation mis en place devront être particulièrement explicites.

Le RGAA oblige ainsi à mettre à disposition un moyen générique, par exemple une adresse mail, qui permette à l’utilisateur de signaler qu’il est dans l’impossibilité d’accéder ou d’utiliser une information. Les responsables du site doivent assistance à l’utilisateur, c’est-à-dire qu’ils doivent fournir un moyen alternatif dans un délai raisonnable.

Les dérogations deviendraient tout à fait contre-productives sans l’existence de ce dispositif.

Un contenu dérogé rend le critère non applicable

Le statut « D » (dérogé) est particulièrement important dans la mesure de la conformité, car il indique un contenu dérogé pour le critère considéré, ce qui rend automatiquement le critère non applicable. Comme indiqué dans le guide d’accompagnement du RGAA 3 :

À noter qu’une dérogation ne s’applique qu’à un contenu et non à un critère du RGAA. Une fois le contenu dérogé, il sort du champ de l’audit et le critère concerné devient non applicable pour ce contenu.

Ce mécanisme peut parfois créer de la confusion et être mal compris.

Certains considèrent que tous les contenus devraient être testés et mesurés. Mais cela détruirait immédiatement le rôle de la mesure. Que signifierait 90 % de conformité – ou plus précisément 10 % de non-conformité – si ce pourcentage englobait à la fois des erreurs corrigeables et des contenus dérogés, par essence non corrigeables par les concepteurs du site ?

On pourrait envisager par exemple d’avoir une mesure qui dirait quelque chose comme « Le site est conforme à 98 %, parmi les 2 % de non-conformité 1 % concerne des contenus dérogés ».

Mais cela poserait de gros problèmes quant à la mesure elle-même : imaginons qu’un critère soit appliqué à la fois à des contenus non dérogés et des contenus dérogés, comment calculer la part de chacun dans le calcul final ?

Si l’on maintient les contenus dérogés dans la mesure de la conformité, les critères concernés par ces contenus seront perpétuellement non conformes. Aucun site web ne pourra être conforme, on aura tué la mesure.

Du score de conformité brut au score de conformité retenu

Le score de conformité tel qu’il est exprimé à la fin d’un audit ne représente qu’une mesure brute qui doit être traitée, analysée et arbitrée. La phase d’arbitrage est donc essentielle et dans l’idéal, elle est pilotée par une ressource experte qui saura estimer l’impact utilisateur et surtout la notion délicate d’aménagement raisonnable.

C’est d’autant plus important qu’il peut exister une inclination à considérer « déraisonnable » tout ce qui devient gênant pour le projet.

Que signifie réellement la mesure de conformité ?

Nous l’avons vu, au travers des concepts de dérogations et d’aménagement raisonnable, cette approche de la conformité est loin de l’image de l’indicateur figé, binaire et trop exigeant que l’on présente souvent. C’est au contraire une mesure très relative et particulièrement souple.

Mesure de conformité et niveau d’accessibilité

Il y a un malentendu de base qui confond deux choses très différentes : la mesure de conformité et le niveau d’accessibilité réel des contenus, notamment en termes d’expérience utilisateur.

Que nous dit réellement la mesure de conformité RGAA d’un site web ? Elle nous fournit plusieurs indicateurs indispensables à la gestion du projet et de ses objectifs :

• Un indicateur brut d’avancement vers la conformité ;
• Une évaluation de la performance des moyens mis en place ;
• Une évaluation de la capacité technique du site à implémenter la norme ;
• Dans le cycle de vie, elle agit comme une alerte sur l’efficacité de la prise en charge des problématiques d’accessibilité ;
• Enfin, quand l’état de conformité est atteint, elle est une preuve que tout ce qu’il était possible de faire a été fait et bien fait.

C’est ce dernier aspect qui est sans doute la meilleure définition du sens que doit prendre la conformité aux critères du RGAA dans un projet : tout ce qu’il était possible de faire, en matière d’accessibilité, est fait et bien fait. Les moyens mis en place pour s’en assurer sont appropriés et efficaces.

En revanche, la mesure de conformité est assez pauvre en indicateurs sur l’accessibilité réelle. Les plus importantes raisons de cette situation sont :

• L’utilisation d’une méthode de mesure basée sur un échantillon de pages. En ce sens, on vérifie surtout la capacité à faire accessible plus que l’accessibilité réelle des contenus ;
• L’utilisation d’une norme (WCAG) centrée sur la vérification qu’un utilisateur en situation de handicap peut accéder et utiliser les contenus et les fonctionnalités, mais pas que ceux-ci sont efficaces et performants par rapport aux objectifs de qualité et d’expérience utilisateur.

De nombreux travaux ont été menés pour essayer de mesurer la qualité des contenus respectant les WCAG, c’est un champ de recherche encore très ouvert et qui se heurte à des problématiques très complexes.

Deux écueils principaux ont émergé.

Le premier est que, selon le contexte, un même type d’erreur peut avoir des effets très différents en termes d’impacts sur l’utilisateur. Par exemple, la présence d’une alternative non pertinente sur une image de décoration, parce qu’elle peut changer le sens du texte associé, peut constituer une barrière infranchissable. Il est donc difficile de considérer a priori que la présence d’alternatives pour des images de décoration est un problème peu impactant.

Le second écueil est que le niveau réel d’accessibilité ne dépend pas du nombre d’erreurs. Par exemple, imaginons une page avec 100 images porteuses d’information. Si sur ces 100 images, 99 ont une alternative pertinente, cela ne signifie rien si la seule alternative absente est la condition de consultation pour les 99 autres.

Cela signifie en clair que la solution la plus simple pour garantir l’accessibilité d’un contenu, au sens de WCAG ou du RGAA, est de s’assurer que toutes les erreurs corrigibles (donc non dérogées) ont été corrigées.

C’est la raison pour laquelle la règle qui demande de respecter 100 % des critères applicables s’est peu à peu imposée, même s’il existe des exceptions, comme en Allemagne par exemple [[En Allemagne, le système BITV propose un calcul où chaque critère est affecté d’une pondération. La conformité est calculée sur la base d’une note à deux niveaux (90 et 95 sur 100). Cf The case for a WCAG-based evaluation scheme with a graded rating scale pour les détails.]].

Une mesure de conformité plus sophistiquée ?

La mesure de conformité pourrait être un peu plus sophistiquée. Par exemple, on pourrait associer un jeu de pages prises au hasard à chaque audit basé sur un échantillon de référence.

On aurait alors une mesure plus fine constituée de :

• La mesure de conformité elle-même ;
• Une mesure agrégée (échantillon de référence et échantillon aléatoire) qui serait plus représentative ;
• Une mesure de test sur le seul échantillon aléatoire ;
• Et enfin, un indicateur précieux qui serait la différence entre la mesure de conformité et la mesure de test.

Ce dernier indicateur serait très intéressant pour rendre compte de la manière dont est gérée l’application de la norme sur le reste du site. Par exemple, il permettrait de déclencher des alertes plus fines dans le temps en surveillant ses variations et de mesurer la diffusion de la norme sur l’ensemble du site.

On pourrait même considérer cette mesure comme un véritable indicateur de qualité et de mesure de l’amélioration progressive : plus la différence est faible plus la qualité s’améliore.

WCAG EM, qui propose un cadre de mise en place d’un audit de conformité, suggère cette approche sans toutefois travailler sur les indicateurs.

Pour rendre la mesure fonctionnelle, il serait néanmoins nécessaire que les pages aléatoires ne fassent pas partie de la mesure de conformité. Faute de quoi on se retrouverait avec des sites perpétuellement non conformes. En revanche, les erreurs détectées sur ces pages devraient naturellement déclencher des actions correctives immédiates.

Une mesure relative au site : l’effet « thermomètre »

Enfin, tous les critères n’ont pas le même impact utilisateur et pourtant, chaque critère a le même poids dans la mesure de la conformité. En effet, un site à « 98 % de conformité » en raison d’alternatives données à des images décoratives et un site à « 98 % de conformité » pour un manquement en matière d’agrandissement des caractères ne peuvent être considérés comme « au même niveau d’accessibilité ». Cette particularité et l’utilisation des dérogations rendent, de fait, la mesure de la conformité contextuelle au site lui-même.

C’est sans doute la critique la plus pertinente : il est très difficile d’utiliser cette mesure pour comparer l’accessibilité de plusieurs sites entre eux.

À ce titre, la conformité se comporte un peu comme un thermomètre qui indique un état fiévreux, mais qui est insuffisant pour juger de l’état réel du malade. Une personne à 37,5° pourrait être bien plus malade qu’une autre à 39°.

Du fait de la relativité de la mesure de conformité, conséquence des dérogations et des arbitrages notamment, un site à « 98 % de conformité au RGAA » peut être bien moins accessible réellement qu’un site « conforme à 50 % ». Certains y voient la preuve que la conformité est une approche contre-productive.

Si l’on suit la même logique, on pourrait dire que, parce qu’elle ne permet pas d’évaluer de manière objective l’état réel du malade, la prise de température est contre-productive. Comme le thermomètre, la mesure de la conformité n’est qu’un outil pour évaluer l’état du patient : mesurer la conformité ne signifie pas rendre un site accessible, mais savoir où il se situe et proposer des solutions et correctifs.

C’est probablement cette incompréhension, sur l’objectif de la mesure de conformité, qui nourrit l’essentiel des critiques de la conformité au RGAA.

Conclusions et perspectives

La mesure de conformité au RGAA est un système de mesure assez complexe et éloigné de l’image binaire et figée que l’on retrouve assez souvent et qui constitue l’essentiel des critiques qui lui sont adressées.

Le système de dérogations, et plus particulièrement celles issues de l’arbitrage des résultats bruts des audits, est au cœur de ce système de mesure et influe considérablement sur ses résultats.

Ce système s’avère relativement décorrélé de l’accessibilité réelle, notamment en termes de qualité et d’expérience utilisateur. Cela est dû à la fois à la méthode de mesure elle-même, mais également au corpus de référence (WCAG) qui n’a pas vocation à couvrir la qualité perçue et l’efficacité des contenus et des fonctionnalités, éléments centraux dans l’expérience utilisateur.

Cette confusion entre la mesure de conformité à la norme et la mesure de l’accessibilité perçue est une des raisons pour lesquelles ce système est souvent mal compris et peut sembler être inadapté aux réalités et aux contraintes des projets.

En réalité, utilisé pour ce qu’il doit être, il s’avère un outil très efficace et offre toute la souplesse nécessaire pour prendre en compte la réalité et les contraintes d’un projet.

En outre, du point de vue de l’application réglementaire et des droits attendus par les utilisateurs en situation de handicap, il constitue une preuve de l’implémentation « au mieux des possibilités » des équipes en charge de l’accessibilité.

Tout système de mesure est améliorable. La mesure de conformité aux critères du RGAA l’est d’autant plus qu’il s’agit d’un système encore jeune éminemment perfectible. Deux axes d’amélioration pourraient être relativement facilement mis en place :

• Offrir un système plus robuste de gestion des dérogations pour aménagement déraisonnable ou indu en s’appuyant notamment sur une mesure plus objectivable de l’impact utilisateur ;
• Construire une mesure plus fine en s’appuyant notamment sur un sous-ensemble de tests sur la base d’échantillons aléatoires complémentaires.

À plus long terme, car c’est un sujet très complexe, des mesures plus sophistiquées et hors du champ de la conformité, utilisant les techniques d’évaluation qualitatives basées sur la notion d’accessibilité d’usage ^[1] pourraient également constituer des axes d’amélioration importants.