En France, la gestion automatisée des prestations sociales a pris une dimension industrielle. Chaque mois, le système de la Caisse nationale des allocations familiales (Cnaf) passe au crible les données personnelles de plus de 32 millions de personnes et génère plus de 13 millions de scores de risque — un volume évalué selon une autre source à plus de 13,8 millions d'évaluations. Alors que l'organisme a versé plus de 108,6 milliards d'euros de prestations en 2024, le modèle algorithmique qu'il déploie attribue systématiquement des scores de suspicion plus élevés aux bénéficiaires disposant de faibles revenus, aux personnes au chômage et aux allocataires de minima sociaux.
Cette surreprésentation a été mesurée en interne : une étude de la Cnaf datant de 2025 révèle que les allocataires du Revenu de solidarité active (RSA), qui ne constituent que 13 % de l'ensemble des bénéficiaires, représentaient 49 % des 5 % des scores les plus à risque du modèle de 2018, ainsi que 51 % des contrôles générés par l'exploration de données (datamining).
Un contentieux lourd face aux soupçons de discrimination indirecte
Face à ces constats, des coalitions de la société civile emmenées par La Quadrature du Net ont saisi le Conseil d'État afin d'obtenir l'interruption et l'interdiction de l'algorithme de notation de la Cnaf, invoquant des infractions au droit de la protection des données personnelles et au principe de non-discrimination. Dans un avis rendu en octobre 2025, le Défenseur des droits a lui aussi conclu que les traitements algorithmiques de l'organisme entraînent un sur-contrôle des catégories les plus précaires, établissant ainsi une présomption de discrimination indirecte fondée sur la vulnérabilité économique.
Ce front juridique met en lumière des visions radicalement divergentes quant à la portée de ces contrôles. Pour sa défense, la Cnaf fait valoir que la lutte contre la fraude et la bonne gestion des deniers publics constituent des objectifs à valeur constitutionnelle. Elle affirme en outre que les agents de contrôle n'ont pas accès aux scores attribués par le système et que ces vérifications algorithmiques ne provoquent pas d'effets défavorables significatifs pour les usagers. Cette position est frontalement rejetée par les organisations requérantes et le Défenseur des droits : ces derniers soulignent que les contrôles s'avèrent hautement intrusifs — incluant des inspections à domicile —, génèrent une anxiété sévère et aboutissent régulièrement à la suspension de prestations vitales.
L'opacité des boîtes noires et le précédent néerlandais
Au-delà du cas français, la numérisation du secteur public s'appuie fréquemment sur des mécanismes opaques, assimilés à des « boîtes noires », qui privent les administrés de la possibilité de comprendre la genèse des décisions qui les frappent et d'exercer leurs droits de défense. De multiples voix dénoncent également une exagération régulière de l'ampleur des fraudes sociales par les autorités publiques et les acteurs politiques, instrumentalisée pour justifier une surveillance technologique renforcée ciblant spécifiquement les groupes vulnérables.
Ces tensions font écho au scandale des allocations de garde d'enfants aux Pays-Bas. L'administration fiscale néerlandaise y utilisait un « modèle de classification des risques » intégrant le paramètre de la nationalité (« citoyenneté néerlandaise : oui/non ») pour évaluer le risque d'inexactitude ou de fraude. Une vive controverse oppose la version officielle aux constats des défenseurs des libertés : le gouvernement néerlandais a soutenu que l'analyse de la citoyenneté ne revenait pas à utiliser la nationalité comme facteur de risque et que les données relatives à la race ou à l'origine ethnique n'étaient pas traitées ; Amnesty International a démontré, à l'inverse, que la notation reposant sur la détention ou non de la citoyenneté constituait une discrimination directe basée sur la nationalité et l'origine, équivalant à un profilage racial systémique. À la mi-2021, environ 42 000 parents et tuteurs s'étaient déclarés victimes, conduisant l'État néerlandais à instaurer une indemnisation de base d'au moins 30 000 euros pour les foyers touchés.
Vers un « État-providence numérique » sous tension internationale
Cette tendance ne se limite pas à l'Europe. En Inde, le système d'identification biométrique Aadhaar, qui recense plus de 1,2 milliard d'individus, a été rendu obligatoire pour l'accès aux dispositifs d'aide sociale. Le Rapporteur spécial des Nations unies sur l'extrême pauvreté a tiré la sonnette d'alarme, alertant sur l'émergence d'un « État-providence numérique » au sein de nombreuses nations. Selon cette analyse, la technologie risque d'ériger un système dystopique qui automatise la surveillance et la punition des personnes pauvres tout en sapant les droits humains fondamentaux et la responsabilité juridique des États.
L'avenir de ces dispositifs reste toutefois suspendu à plusieurs inconnues juridiques majeures. La décision finale du Conseil d'État concernant la légalité de l'algorithme de la Cnaf n'est pas encore rendue, tout comme demeure incertaine une éventuelle transmission de questions préjudicielles à la Cour de justice de l'Union européenne. De même, les futures lignes directrices de la Commission européenne sur le règlement sur l'intelligence artificielle (AI Act) devront préciser si les modèles de notation du risque de fraude sociale relèvent des pratiques interdites de « notation sociale » (social scoring). Enfin, sur le plan technique, la nature exacte des variables retirées du modèle de datamining de la Cnaf dans sa version actualisée pour 2025/2026 demeure indéterminée, tout comme l'efficacité réelle de ces ajustements pour neutraliser les disparités de traitement.
