FRAUDE ET INTERPRÉTABILITÉ DES MODÈLES DE MACHINE LEARNING

L’interprétabilité : le maillon essentiel pour l’adoption du Machine Learning dans la lutte contre la fraude

Les méthodes de machine learning sont de plus en plus utilisées, notamment dans les produits anti-fraude (développés par Ercom Analytics ou par d’autres éditeurs) pour capturer les signaux faibles et exploiter des corrélations complexes entre un grand nombre de variables.

Si la pertinence de ces méthodes pour la détection de la fraude n’est plus à démontrer elles font encore objet de méfiance dans quelques industries comme la banque, l’assurance ou la santé due à sa nature de facto de black box, au fonctionnement interne inaccessible. En effet, les résultats obtenus à partir des modèles prédictifs peuvent être difficiles à interpréter par un analyste métier du fait de la complexité des calculs réalisés et du manque de transparence dans la « recette » qui a servi à produire la décision finale. Il paraît donc tout à fait compréhensible qu’un analyste devant prendre une décision importante, par exemple accepter un dossier de crédit ou refuser un remboursement de frais de santé, hésite à appliquer « mécaniquement » l’avis du modèle prédictif sans comprendre les raisons sous-jacentes.

La performance prédictive d’un modèle de machine learning et sa facilité d’interprétation par un humain ont longtemps été considérées comme diamétralement opposées. Mais cela, c’était avant ! Depuis deux ou trois ans, on observe en effet un regain d’intérêt de la part de chercheurs, de l’industrie et plus largement de la communauté data science, pour rendre le machine learning plus transparent, voire « white-box ».

Le machine learning est un atout dans la lutte contre la fraude

La fraude est un phénomène complexe à détecter car les fraudeurs ont toujours un coup d’avance et adaptent leurs techniques constamment. Rare par définition, elle se présente pourtant sous plusieurs formes (de la falsification grossière d’une carte d’identité à des techniques d’ingénierie sociale très élaborées) et représente un risque financier et réputationnel potentiellement élevé (blanchiment d’argent, financement du terrorisme…). Et pour couronner l’ensemble, le mécanisme de la fraude est dit « adversarial », c’est-à-dire que les fraudeurs travaillent sans cesse pour subvertir les procédures et les systèmes de détection en place afin d’exploiter la moindre faille.

La plupart des systèmes anti-fraude actuels sont basés sur des règles déterminées par un acteur humain car les résultats dérivés sont relativement simples à comprendre et jugés transparents par le métier. Si dans un premier temps ces systèmes sont faciles à mettre en place et efficaces, ils deviennent très difficiles à maintenir quand le nombre de règles augmente. Or, les fraudeurs s’adaptent pour contourner les règles en place ce qui entraîne l’ajout ou la mise à jour des règles et rend le système de plus en plus compliqué à maintenir.

L’un des effets pervers est la dégradation du système qui finit par devenir trop intrusif (avec des règles portant sur des particularités) ou à contrario, trop généraliste. Dans le deux cas, cela impacte fortement les bons clients car les fraudeurs savent imiter à la perfection le « client moyen ». D’ailleurs c’est un fait bien connu des directeurs de risque « Le profil type mes fraudeurs? Ces sont mes meilleurs clients ! ».

Traquer les fraudeurs est donc un tâche ardue et bien souvent source de friction dans le parcours client, ce qui  engendre des coûts directs et indirects importants.

De ce fait, un système de détection efficace, peu intrusif et capable de déjouer les dernières techniques de fraude, doit relever des challenges considérables et l’application du machine learning se montre une arme redoutable sur ce sujet.

De plus, grâce aux dernières techniques d’interprétabilité, il est possible de présenter à l’analyste métier les raisons qui ont conduit l’algorithme de machine learning à émettre tel ou tel avis.

Pourquoi l’interprétabilité est-elle importante ?

D’une manière plus large, le machine learning devient omniprésent dans nos vies et le besoin de comprendre et collaborer avec les machines se fait de plus en plus sentir. Par contre, les machines n’expliquent pas souvent les résultats de leurs prédictions, ce qui peut entraîner un manque de confiance de la part des utilisateurs finaux et, in fine, freiner l’adoption de ces méthodes.

Bien évidemment, certains modèles de machine learning ne nécessitent pas d’explications. Quand ils sont utilisés dans un système à faible risque, par exemple les moteurs de recommandation de musique ou pour optimiser l’affichage des publicités en ligne, les erreurs commises n’ont pas d’impacts conséquents. Par contre, lors qu’ils décident qui sera recruté, du freinage d’une voiture autonome ou de la remise en liberté d’un détenu, le manque de transparence dans la décision soulève des inquiétudes légitimes de la part de l’utilisateur, du régulateur et plus largement de la société.

Dans son ouvrage paru en 2016, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Cathy O’Neil, mathématicienne et data scientist renommée, appelle la société et les politiques à être extrêmement vigilants par rapport à ce qu’elle définit comme « L’ère de la confiance absolue dans le Big Data ». Parmi les travers les plus dénoncés, elle met en exergue le manque de transparence et l’aspect discriminatoire des algorithmes qui nous gouvernent. Des techniques pour les comprendre sont devenues un enjeu de société.

L’interprétabilité signifie que nous sommes capables de comprendre les raisons pour lesquelles un algorithme émet une décision en particulier. Même s’il n’y a pas de réel consensus quant à sa définition, un modèle interprétable permet de renfoncer la confiance, de satisfaire les exigences du régulateur (ex. RGPD, CNIL), d’expliquer les décisions à des humains et d’améliorer les modèles existants.

Il convient toutefois de souligner que le besoin d’avoir de modèles interprétables n’est pas partagé par tous les courants dans l’intelligence artificielle. Certains courants évoquent plutôt un changement de paradigme à adopter dans la manière dont nous pouvons modéliser et interpréter le monde qui nous entoure. Par exemple, aujourd’hui peu des gens s’inquiètent vraiment de l’explicabilité d’un processeur informatique et font confiance aux résultats affichés sur un écran par exemple. Le sujet est source de débat même dans les conférences de machine learning comme NIPS.

Conclusion

La fraude est un phénomène complexe à détecter et l’utilisation du machine learning se montre un fort allié pour la combattre efficacement et favoriser son adoption par les analystes métier. L’apparition d’une nouvelle catégorie de techniques ces deux dernières années ont permis de rendre l’interprétabilité du machine learning plus accessibles et directement applicables à des produits IA. Grâce à ces techniques, il est désormais possible d’associer une précision très élevée de détection sans faire une impasse sur leur capacité d’explication à un analyste métier. Dans notre prochain billet de blog, nous expliquerons comment les techniques comme LIME, Influence Functions ou SHAP, sont utilisées dans la pratique sur des modèles de machine learning.

Pour aller plus loin :

Miller, Tim. 2017. “Explanation in Artificial Intelligence: Insights from the Social Sciences.”

The Business Case for Machine Learning Interpretability http://blog.fastforwardlabs.com/2017/08/02/business-interpretability.html

Is there a ‘right to explanation’ for machine learning in the GDPR? https://iapp.org/news/a/is-there-a-right-to-explanation-for-machine-learning-in-the-gdpr/