AlgorithmWatch
AlgorithmWatch est une ONG (organisation non gouvernementale) à but non lucratif fondée à Berlin en 2016-2017[1] pour améliorer la transparence de la gouvernance[2] des processus de prise de décision algorithmiques utilisés pour dire, prédire ou prédéterminer les décisions humaines ou prendre des décisions automatiquement[3].
Fondation |
---|
Sigle |
(en) AW |
---|---|
Type | |
Forme juridique | |
Domaine d'activité | |
Financement | |
Siège | |
Pays |
Membres |
16 employés, 4 bénévoles |
---|---|
Effectif |
20 employés () |
Chercheurs |
Matthias Spielkamp (gestion), Sabine Leutheusser-Schnarrenberger, Prof. Dr. Katharina de la Durantaye, Dr. Steffen Wenzel (Conseil de surveillance) |
Propriétaires | |
Sponsors |
Bertelsmann Stiftung, ministère fédéral de l'Éducation et de la Recherche, Hans-Böckler-Stiftung (d), Schöpflin Stiftung (d) |
Chiffre d'affaires | |
Récompense |
Médaille Theodor-Heuss () |
Site web |
Historique
modifierDivers chercheurs lanceurs d'alerte (ex : Dirk Helbing[4] et Peter Seeles[5] s'inquiètent de l'opacité liée à l'usage de certains algorithmes, estimant que quand le code informatique « fait loi », les algorithmes devraient être rendus transparents (When code is law, algorithms must be made transparent)[6].
AlgorithmWatch a été fondée à Berlin en 2017 par Matthias Spielkamp, Katharina Anna Zweig, Lorena Jaume-Palasí et Lorenz Matzat, travaillant d'abord à inventorier ces algorithmes et leur utilisation à l'échelle du territoire allemand[7], tout en cherchant à traiter du sujet dans le monde.
En novembre 2020, l'association suisse AlgorithmWatch Switzerland a mis en ligne sa propre organisation, et son propre site Web[8].
Objectifs & prises de position
modifierLutte contre les inégalités et discriminations induites par les algorithmes
modifierPour AlgorithmWatch, les processus de prise de décision automatisée (dits ADM pour Automated decision-making) « évaluent [de plus en plus] notre solvabilité, fixent des prix individualisés sur les plateformes de vente au détail en ligne ou suggèrent les films à regarder. Cependant, leur utilisation ne conduit pas nécessairement à des décisions moins biaisées ».
Ces systèmes ADM peuvent perpétuer voire renforcer les inégalités et les discriminations. Les études d'AlgorithmWatch ont ainsi montré que même dans des pays supposés avancés dans ces domaines, comme l'Allemagne et l'Autriche, les offres d'emploi (publiées sur Facebook notamment) étaient présentées à différents publics sur la base de « grossiers stéréotypes », interdisant l'égalité homme-femme face à l'emploi (ex : une offre de poste d'éducateur/éducatrice était 20 fois plus susceptible d'être montré aux femmes qu'aux hommes)[9],[10]. L'objectif d'AlgorithmWatch est ainsi de veiller à la transparence de cette algorithme.
L'ONG, dans un projet AutoCheck (formations et guide sur les systèmes de prise de décision automatisés), veut aider les organismes de promotion de l'égalité, et notamment les centres de conseil anti-discrimination, dans leurs actions d'éducation, de conseil et de soutien envers les personnes discriminées, en leur permettant de mieux discerner la discrimination qui s'effectue à leur égard via les systèmes ADM, sans que l'on sache à ce jour comment ces personnes ou les centres de conseil peuvent traiter le problème[11].
Prises de position
modifierResponsabilité juridique des créateurs d'ADM
modifierAlgorithmWatch estime dans son manifeste que tant que les procédures de prise de décision algorithmique sont des « boîtes noires » le « créateur d'ADM doit être responsable de ses résultats »[12].
Effets des processus décisionnels algorithmiques sur les comportements humains
modifierAlgorithmWatch a également pour objectif d'analyser - en prônant les analyses transparentes et collaboratives[13] - les effets des processus décisionnels algorithmiques sur le comportement humain, mettant en évidence des conflits éthiques[14],[3], notamment dans le monde de l'industrie numérique et de l'industrie en général qui selon AlgorithmWatch refuse de se fixer des lignes rouges, désamorçant les directives éthiques pour l'intelligence artificielle[15].
Opposition aux algorithmes de reconnaissance faciale
modifierL'ONG s'inquiète, avec d'autres du développement des algorithmes de reconnaissance faciale automatisée dans les lieux publics ; AlgorithmWatch et AlgorithmWatch Switzerland s'inscrivent conjointement dans l'initiative citoyenne européenne (coalition d'organisations de la société civile) Reclaim Your Face demandant l'interdiction de la surveillance biométrique de masse[16].
Opposition aux algorithmes de prédiction pénitentiaire
modifierEn Espagne, la justice catalane utilise dans toutes ses prisons un algorithme RisCanvi pour l'aider à décider si un détenu emprisonné peut être libérés sur parole, mais l'outil n'est guère transparent constate AlgorithmWatch[17]
Utilisation de l'intelligence artificielle dans le secteur public
modifierMichele Loi et Matthias Spielkamp ont étudié et comparé les contenus réglementaires de 16 ensembles de lignes directrices relatives à l'utilisation de l'intelligence artificielle dans le secteur public. Au regard des exigences de l'ONG en matière de philosophie et responsabilité de la gouvernance, les auteurs estiment que « si certaines lignes directrices font référence à des processus qui s'apparentent à un audit, il semble que le débat gagnerait à être plus clair sur la nature des droits des auditeurs et les objectifs de l'audit, également afin de développer des normes éthiquement significatives par rapport auxquelles différentes formes d'audit peuvent être évaluées et comparées »[18].
Avis sur les applications de contact-tracing utilisés durant la pandémie de Covid-19
modifierAprès que la lutte contre la pandémie de Covid-19 ait justifié la création pour les smartphones de diverses applications de recherche de contacts numériques de type Covid-tracker (environ 50 applications dont 22 dans l'UE)[19],[20], l'ONG a produit une étude sur leur efficacité réelle un an après sur la base de preuves issues de la littérature scientifique et de l'utilisation réelle, concluant à des résultats, jusqu'alors encore contradictoires et à des difficultés de comparabilité[21].
Financements
modifierAlgorithmWatch est financé par plusieurs fondations allemandes dont la Fondation Bertelsmann qui vise plus de transparence et de contrôle de la société civile sur les algorithmes et leurs utilisations[22], la Fondation Schöpflin[23], et la Fondation Hans Böckler[22].
AlgorithmWatch Switzerland est financé par Engagement Migros, le fonds de développement du groupe Migros, un conglomérat d'entreprises coopératives suisses de la grande distribution[24].
Annexes
modifierArticles connexes
modifier- Système de crédit social
- Analyse de la complexité des algorithmes
- Algorithmique
- Correction d'un algorithme
- Biais algorithmique
- Lanceur d'alerte
Liens externes
modifier
- Site officiel
- Ressource relative aux organisations :
- AlgorithmWatch.ch
Bibliographie
modifier- de Barros Fritz, R., & Biermeier, K. (2019) Bestehende und künftige Regelungen des Einsatzes von Algorithmen im HR-Bereich, Gutachten AlgorithmWatch.
- Loi, M. (2020). People Analytics must benefit the people. An ethical analysis of data-driven algorithmic systems in human resources management. Algorithmwatch.
- Thouvenin, F., & Früh, A. (2020). Automatisierte Entscheidungen: Grundfragen aus der Perspektive des Privatrechts. Schweizerische Zeitschrift für Wirtschafts-und Finanzmarktrecht, SZW, (1), 3-17.
Notes et références
modifier- (de) « Transparenz & Governance », sur AlgorithmWatch (consulté le ).
- (en) Matthias Spielkamp, « AlgorithmWatch: What Role Can a Watchdog Organization Play in Ensuring Algorithmic Accountability? », dans Transparent Data Mining for Big and Small Data, Springer International Publishing, (ISBN 978-3-319-54023-8, lire en ligne), p. 207–215.
- (de) Patrick Beuth, « Lesen Sie zeit.de mit Werbung oder im PUR-Abo. Sie haben die Wahl (Avoir son mot à dire dans l'automatisation du monde) », sur ZEIT ONLINE, (consulté le ).
- ETH de Zurich/TU Delft/Complexity Science Hub de Vienne
- USI, à Lugano
- (en) D. Helbing et P. Seeles, « When code is law, algorithms must be made transparent », Technology, no 76, , p. 553-594 (lire en ligne).
- (en) AW AlgorithmWatch gGmbH, « Atlas of Automation–Automated Decision-Making and Participation in Germany », (consulté le ).
- (de) « AlgorithmWatch Schweiz geht an den Start (AlgorithmWatch Suisse est lancé) », sur AlgorithmWatch (consulté le )
- (en) K. Floder, The algorithm of the Public Employment Service Austria (AMS): Technology as a retrograde step for gender equality in Austria |URL=https://www.floder.at/wp-content/uploads/2020/08/Essay_ILL-2.pdf
- (en) Natalie Sheard, « Employment Discrimination by Algorithm: Can Anyone be Held Accountable? », University of New South Wales Law Journal, Social Science Research Network, vol. 45, no ID 3866363, (lire en ligne, consulté le ).
- (en) « AutoCheck – Mapping risks of discrimination in automated decision-making systems », sur AlgorithmWatch (consulté le )
- (en) « The ADM Manifesto », sur AlgorithmWatch (consulté le )
- (en) Christina Elmer, « Algorithms in the Spotlight : Collaborative Investigations at Der Spiegel », dans L. Bounegru et J. Gray, The Data Journalism Handbook: Towards a Critical Data Practice, Amsterdam University Press, (ISBN 978-90-485-4207-9, lire en ligne), p. 257–264.
- (en) L. Jaume-Palasí et M. Spielkamp, « Ethics and algorithmic processes for decision making and decision support », AlgorithmWatch Working Paper, , p. 1-18, volume 2.
- (en) C Klöver et A Fanta, « No red lines: Industry defuses ethics guidelines for artificial intelligence », sur AlgorithmWatch, (consulté le ).
- (en) « Reclaim Your Face – A European Citizens Initiative to ban biometric mass surveillance », sur AlgorithmWatch (consulté le )
- (en) « In Catalonia, the RisCanvi algorithm helps decide whether inmates are paroled », sur AlgorithmWatch (consulté le )
- (en) « Towards accountability in the use of Artificial Intelligence for Public Administrations », sur AlgorithmWatch (consulté le )
- (en) « The Covid Tracing Tracker: What’s happening in coronavirus apps around the world », sur MIT Technology Review (consulté le )
- (en) European Liberties Platform, « COVID-19 Contact Tracing Apps in the EU », sur Liberties.eu (consulté le )
- (en) « Digital contact tracing apps: do they actually work? A review of early evidence », sur AlgorithmWatch (consulté le )
- (de) « Förderung - Mehr Transparenz und zivilgesellschaftliche Kontrolle von Algorithmen », sur www.bertelsmann-stiftung.de (consulté le )
- (de) « Schöpflin Stiftung », sur www.schoepflin-stiftung.de (consulté le )
- (de) « AlgorithmWatch Schweiz », sur Migros-Pionierfonds, (consulté le )