RGAA : quelle différence entre taux de conformité global sur l’échantillon et taux moyen ?

À noter, en préambule, que l’exigence d’afficher ces mesures dans la déclaration d’accessibilité est une particularité française.

En effet, le modèle de déclaration d’accessibilité ^[1] adossé à la directive européenne ne requiert que l’affichage du statut de conformité : non conforme, partiellement conforme ou totalement conforme.

Le taux de conformité global sur l’échantillon

Le taux de conformité global sur l’échantillon s’obtient en divisant le nombre de critères conformes par le nombre de critères applicables sur l’ensemble de l’échantillon, soit :

Taux = C ∕ (C+NC)

• C représente le nombre de critères conformes ;
• NC le nombre de critères non conformes ;
• (C+NC) le nombre de critères applicables.

Les règles d’attribution de statut pour un critère sont les suivantes :

• un critère est considéré non conforme si une erreur le concernant est relevée sur au moins une page ;
• un critère est considéré conforme s’il est applicable et qu’aucune erreur le concernant n’est relevée sur les pages de l’échantillon.

Caractéristiques de cette mesure

• La mesure du taux de conformité global est effectuée pour l’ensemble de l’échantillon.
• La base de calcul (le nombre de critères applicables) est fixe avec un maximum de 106 critères dans l’hypothèse où tous les critères du RGAA seraient applicables.

Les avantages du taux de conformité global sur l’échantillon

Tout d’abord, cette méthode de calcul produit une mesure particulièrement robuste, car elle ne dépend pas de la nature et du nombre de pages de l’échantillon.

Cette caractéristique a pour conséquence que la mesure produite est comparable avec un autre audit ou plusieurs itérations du même audit.

Le second avantage est que cette méthode de calcul est également indépendante de la méthode d’audit, en particulier du traitement des non-conformités récurrentes.

Il existe en effet deux manières de traiter les non-conformités récurrentes : les relever une seule fois ou bien les reporter sur toutes les pages de l’échantillon.

Par exemple, si on relève une erreur sur un menu de navigation qui est un contenu répété sur toutes les pages de l’échantillon, la question se pose de savoir comment la traiter dans le relevé. En effet, on peut :

• soit signaler l’erreur une seule fois lors de sa première occurrence ;
• soit la répéter sur chaque page du relevé.

Enfin, la mesure du taux de conformité global est peu sensible aux modifications de l’échantillon et difficilement manipulable.

Les inconvénients du taux de conformité global sur l’échantillon

Le taux global est une mesure quantitative. À ce titre, il est donc difficile à interpréter d’un point de vue qualitatif, car il dépend fortement de la répartition des critères non conformes sur l’échantillon.

Par exemple, imaginons que tous les critères non conformes sont concentrés sur une seule page de l’échantillon : la mesure du taux global ne sera pas réellement représentative de la qualité du support de l’accessibilité.

Le taux de conformité moyen

Le taux de conformité est calculé pour chaque page de la même manière que le taux global.

C’est en faisant la moyenne des mesures de chaque page que l’obtient le taux de conformité moyen.

Taux = Somme(P1, P2, P3… Pn) ∕ NbPage

• Pn représente le taux mesuré pour une page ;
• NbPage le nombre total de pages.

Caractéristiques de cette mesure

• La mesure du taux de conformité moyen est effectuée sur chaque page de l’échantillon et accrétée en moyenne.
• La base de calcul est variable en fonction du nombre de pages.

Les avantages du taux de conformité moyen

La moyenne est souvent perçue comme un indicateur de qualité dans le sens où plus la moyenne est élevée, plus la qualité supposée est bonne.

Néanmoins, les effets pervers de ce calcul sont nombreux.

Les inconvénients du taux de conformité moyen

Comme la base de calcul est variable, la mesure du taux de conformité moyen est peu robuste et ne permet pas de comparaison fiable entre deux audits ou même entre plusieurs itérations d’un même audit, par exemple, si l’échantillon est modifié entre temps.

De plus, la mesure est manipulable. Par exemple, imaginons un échantillon dans lequel une page concentre tous les critères non conformes de la thématique « Formulaires » du RGAA : il suffit d’ajouter des pages qui ne contiennent pas d’erreur sur les formulaires pour, artificiellement, faire monter le taux moyen constaté.

La mesure est très sensible à la méthode choisie pour traiter les non-conformités récurrentes et le niveau mesuré sera différent selon que l’on utilise l’une ou l’autre des méthodes.

Enfin, la mesure est très sensible aux modifications de l’échantillon : l’ajout, le retrait ou le remplacement d’une page dans l’échantillon peut faire varier la mesure de manière importante.

Quel taux utiliser ?

C’est le taux de conformité global qui est la référence obligatoire pour la déclaration d’accessibilité.

En effet, il présente beaucoup plus d’avantages que d’inconvénients : il est plus robuste, comparable et cohérent avec la méthode d’audit par échantillon.

En outre, il constitue un véritable indicateur d’avancement vers la conformité RGAA qui permet de suivre l’opération de mise aux normes dans le temps.

Le taux moyen, en revanche, présente beaucoup plus d’inconvénients que d’avantages : il est peu robuste, difficilement comparable et il peut être manipulé.

Enfin, du fait des différences entre ces méthodes de calcul, les deux taux vont afficher une grande différence : le taux moyen est systématiquement plus élevé que le taux global, ce qui rend l’ensemble difficile à comprendre.

Conclusion

Les deux taux proposés poursuivent des buts différents et ne présentent pas le même intérêt.

Le taux de conformité global sur l’échantillon fournit un état de la conformité particulièrement robuste et un indicateur de l’avancement et du suivi de la mise en conformité.

En outre, sa robustesse vis-à-vis de la nature de l’échantillon et de ses modifications en fait un excellent indicateur de comparaison aussi bien vis-à-vis d’autres audits que des itérations d’un même audit.

En revanche, le taux global est assez pauvre en termes d’indication sur la qualité de l’accessibilité des pages auditées.

Le taux moyen quant à lui pourrait fournir un indicateur plus qualitatif, mais il est confronté à des écueils incontournables :

• le relatif manque de robustesse ne permet pas de l’utiliser comme indicateur de comparaison ou de suivi suffisamment fiable ;
• la grande sensibilité à la nature de l’échantillon, à ses modifications ou ses manipulations diminue fortement la qualité des informations qu’il pourrait fournir. Par conséquent, il est tout aussi pauvre en termes d’indication sur la qualité de l’accessibilité.

En conclusion, il serait souhaitable que la déclaration d’accessibilité ne fasse référence qu’au seul taux global.

Il serait également souhaitable que le modèle de rapport du kit d’audit soit également mis à jour pour faire référence au taux global et que, si le taux moyen doit être cité, cela soit accompagné d’un commentaire le plus clair possible sur sa nature et ses limites.[en]À noter, en préambule, que l’exigence d’afficher ces mesures dans la déclaration d’accessibilité est une particularité française. En effet, le modèle de déclaration d’accessibilité [Modèle de déclaration d’accessibilité – annexe à la directive (UE) 2016/2102] adossé à la directive européenne ne requiert que l’affichage du statut de conformité (non conforme, partiellement conforme, conforme).