Co zrobić żeby sztuczna inteligencja nie prowadziła do prawdziwej dyskryminacji?

Urzędy miejskie zapewniają obywatelom różnorodne rozwiązania w zakresie usług publicznych. Coraz więcej z nich jest tworzona przy wsparciu technologii, w tym o automatyczne systemy podejmowania decyzji (ADM) oraz systemy oparte na sztucznej inteligencji (AI). Rozwój i ekspansja narzędzi IT w służbie publicznej przyniosła nowe wyzwania w zakresie przeciwdziałania dyskryminacji, zwłaszcza tej w stosunku do zmarginalizowanej części społeczności lokalnej. Mechanizmy dyskryminacyjne zostały na przykład wykryte w duńskim systemie SyRI, używanym przez władze krajowe i lokalne do wykrywania oszustw związanych z pomocą społeczną oraz mieszkalnictwem socjalnym; inteligentnych wodomierzach działających w kilku europejskich krajach oraz aplikacjach AI używanych przy rekrutacjach.

Niektóre miasta jak np. Nowy Jork już wdrożyły procedury przeciwdziałające potencjalnej stronniczości ADM i AI. Część miast jednak dopiero zaczyna rozważać wprowadzenie odpowiednich regulacji. Intecultural cities tworzy procedury i ekspertyzy, dotyczące zapobieganiu społecznemu wykluczeniu, dyskryminacji oraz działania na rzecz podnoszenia świadomości związanej z wyzwaniami społecznymi. Zrozumienia potencjalnych ryzyk związanych z dyskryminującym działaniem rozwiązań AI i wiedza o tym jak im zapobiegać powinna być powszechna wśród urzędników i polityków. Doświadczenie miast, które już odrobiły tę pracę domową powinno posłużyć jako źródło dobrych praktyk, które pomoże zbudować godną zaufania i bezstronną AI.

W przypadku tematu jakim jest sztuczna inteligencja należy zacząć przede wszystkim od definicji. Inaczej w naszej głowie może pojawić się wspomnienie filmów “Terminator” czy “Raport mniejszości”.

Artificial Intelligence (AI): Technologia informatyczna, która wykonuje zadania, typowo wykonywane przez ludzi przy zastosowaniu procesów myślowych. . Przykładowo: rozumienie języka mówionego, rozumienie i nauka zachowań ludzkich, rozwiązywanie problemów. - Directive of Automated Decision Making (Kanada)

AI to tylko jeden z typów algorytmów, które mogą stwarzać ryzyka dyskryminacyjne. Cytując the Algorithm Charter For Aotearoa New Zealand, ryzyka i korzyści wynikające z wykorzystywania algorytmów są w większości przypadków niezależne od typu algorytmu. Zarówno bardzo prosty jak i bardzo skomplikowany algorytm może przynieść ogromne korzyści lub ogromną szkodę. Wszystko zależy od zarządzenia kontekstem, celami działania i wpływem na odbiorców.

Dlatego lepszym terminem jest automatyczny system podejmowania decyzji (Automated Decision Making System ADM), który zgodnie z Directive of Automated Decision Making (Kanada), oznacza każdy typ rozwiązań technologicznych, które albo zastępują osąd człowieka, albo go wspierają. Takie systemy wywodzą się ze statystyki, językoznawstwa, IT oraz używają takich technik jak systemy oparte na regułach, analizie predykcyjnej, regresji, nauczaniu maszynowym, “deep learningu” i sieciach neuronowych.

Żeby opisać rzecz prościej warto posłużyć się pracą Davida Harela z 1987 roku “The Spirit of Computing”. Możemy porównać algorytm do przepisu z książki kucharskiej. Składnikom odpowiadają tu dane wejściowe, natomiast wyniki to gotowe danie. Liczne czynności wykonane w międzyczasie (dobranie właściwych proporcji poszczególnych składników, ustawienie właściwej temperatury pieczenia itp) to właśnie jest algorytm. Z życiowego doświadczenia łatwo wydedukować, że nawet jedna pomyłka popełniona w procesie przygotowania może prowadzić do katastrofy jeżeli chodzi o smak i wygląd potrawy.

Ponieważ w tekście skupiam się na dyskryminacyjnych skutkach działania algorytmu przywołam też definicję poszczególnych pojęć z tego zakresu. Wykorzystałem definicję z C. Orwata z “Risks of Discrimination through the Use of Algorithms”:

Dyskryminacja: krzywdzące, stronnicze i niesprawiedliwe traktowanie jednostek lub grup społecznych ze względu na ich rasę, pochodzenie, narodowość, płeć, język, światopogląd, religię, wierzenia, ograniczenia sprawności ruchowej, przynależność do związków zawodowych, uwarunkowania genetyczne, stan zdrowia, wygląd, życie seksualne, identyfikację seksualną, orientację seksualną.

Żeby zrozumieć różnicę pomiędzy “tradycyjną” dyskryminacją a tą stosowana przez AI/ADM należy wziąć pod uwagę jej różne typy.

Dyskryminacja wynikająca z osobistych uprzedzeń (taste-based) oznacza nierówne traktowanie ze względu na osobiste uprzedzenia i preferencje osób podejmujących decyzje wpływające korzystnie lub niekorzystnie na dane grupy lub związane z awersją lub sympatią do pewnych produktów.

Dyskryminacja statystyczna występuje wówczas, gdy osoba jest oceniana raczej na podstawie przeciętnych charakterystyk grupy, do której jest zaliczana niż na podstawie cech indywidualnych (Thurow, 1975)

Kluczowe jest zrozumienie, że algorytmy są tworzone przez ludzi, oznacza to, że wpisane są w nie też ludzkie uprzedzenia - dyskryminacja oparta na statystyce może wynikać z dyskryminacji opartej na opinii. Oba zjawiska bardzo rzadko są od siebie niezależne.

Konsekwencje i przykłady dyskryminującego działania AI

Przegląd przykładów związanych z potencjalnie dyskryminującym działaniem AI/ADM warto zacząć od algorytmu, który wystawiał uczniom i uczennicom oceny na zakończenie szkoły średniej w Wielkiej Brytanii. Dane pokazały, że 39,1% najwyższych ocen wystawionych przez nauczycieli/ki zostało zaniżone o przynajmniej jeden stopień, dotyczyło to zwłaszcza absolwentów/ek, pochodzących ze środowisk i regionów zmarginalizowanych.

Zdaniem części sędziów, najczęstszą przyczyną ryzyk dyskryminacji jest fakt, że “automatyczne systemy podejmujące decyzje często nie biorą pod uwagę szerokiego kontekstu poszczególnych sytuacji. Dla kontrastu urzędnicy potrafią lepiej zrozumieć specyfikę danej historii i tym samym ograniczyć wątpliwości związane z zasadności decyzji, która została podjęta. Kontekst jest kluczowy dla uniknięcie dyskryminacji.”

Podobne obserwacje miał Eryk Holder były prokurator generalny Stanów Zjednoczonych, który powiedział w nawiązaniu do wyroków wydawanych na podstawie działania algorytmów: “chociaż tworzeniu tych rozwiązań towarzyszyły najlepsze intencje, niepokoi mnie fakt, że ich negatywnym skutkiem może być szkodzenia naszym działaniom na rzecz sprawiedliwości, która gwarantuje równość i indywidualne podejście.” To oświadczenie było skutkiem skandalu, związanego z działającym w Stanach systemem COMPAS, opartym na AI/ADM i służącym do przewidywania popełnienia przez obywateli przestępstw w przyszłości. Przykład zastosowania takich systemów w przypadku Brishy Borden i Vernona Prater wskazuje, że oparte na danych automatyczne systemy podejmujące decyzje dotyczące zwolnienia za kaucją, zwolnień warunkowych i długości wyroków dyskryminuje grupy historycznie marginalizowane.

Komisja Europejska zauważa, że algorytmy, stworzone z myślą o zapobieganiu recydywi może charakteryzować się ryzykiem dyskryminacji na tle płci i rasy, poprzez wskazywania na wyższe prawdopodobieństwo ponownego popełnienia przestępstwa w przypadku kobiet i obcokrajowców. Inne przykłady dotyczące potencjalnej dyskryminacji ze względu na płeć lub rasę są widoczne w narzędziach związanych z rozpoznawaniem wizerunku. Badania wykazały, że w przypadku mężczyzn o jaśniejszej skórze programy popełniały mniej błędów niż w przypadku ciemnoskórych kobiet.

Dlaczego AI dyskryminuje

Na podstawie raportu F. Z. Borgesius “Discrimination, artificial intelligence, and algorithmic decision-making” z 2018 roku:

Zmienne docelowe i kategorie klasyfikacji: W ramach “nauczania maszynowego” programy zbierają przykłady z przeszłości dotyczące danego tematu (zidentyfikowanych oszustw, niespłacania pożyczek, problemów ze zdrowiem). Algorytm “uczy się”, które charakterystyki lub zachowania mają tendencję do nakładania się na siebie. Na tej podstawie budują wzory, których później szukają. Takie wzory nazywamy “zmiennymi docelowymi”. “Kategorie klasyfikacji” są z nimi powiązane. Załóżmy, że firma szuka AI do wyszukiwania najlepszych pracowników. Jak zdefiniować dobrego pracownika? Innymi słowy jaka powinna być “kategoria klasyfikacji” w tym przypadku? Czy to taki pracownik, który ma najlepszą sprzedaż? Czy taki, który się nigdy nie spóźnia? Borgesius pisze, ze dyskryminacyjny efekt AI może pojawić się na skutek tego, jak organizacje definiują “zmienne docelowe” i “kategorie klasyfikacji”.

Kategoryzowanie danych treningowych: System AI może być budowany na podstawie danych, które od początku są dyskryminujące lub “uczyć się” z przykładów, które wprowadzają model dyskryminacyjny. Borgesius podaje przykład systemu, który sortował aplikacje na Uniwersytety. “Dane, których program używał w ramach “nauki” były zebrane z wcześniejszych lat, które wskazywały wzór dyskryminacyjny ze względu na płeć i rasę. W efekcie mniej kobiet i osób pochodzących z rodzin imigrantów zostało przyjętych na uczelnie.”

Zbieranie danych treningowych: Dobieranie przykładów do “nauki” również może być stronnicze. Dla przykładu: w przypadku popełniania przestępstw program może bazować na danych wskazujących, że policja zatrzymała więcej imigrantów i osób ciemnoskórych, może prowadzić to do nieproporcjonalnego identyfikowania osób ciemnoskórych jako potencjalnych przestępców.

Wybór cech: Załóżmy, że dana organizacja chce w sposób automatyczny ustalić, który z aplikantów czy która z aplikantek będzie najlepsza na dane stanowisko. To niemożliwe, a przynajmniej zbyt kosztowne, żeby system oparty na AI dotarł do wszystkich adekwatnych danych na temat każdej aplikującej osoby. Firma może skupić się na konkretnych umiejętnościach lub cechach kandydata/ki. Przy ich doborze może dojść do zaburzenia bezstronności wobec poszczególnych grup społecznych.

Dane zastępcze: Niektóre dane, z których korzystają systemy automatycznie podejmujące decyzje mogą być skorelowane z danymi chronionymi. Zestaw danych może np. nie zawierać informacji na temat koloru skóry, za to może zawierać dane dotyczące tego, że istnieje korelacja pomiędzy adresem zamieszkania pod kodem pocztowym F-67075 i niespłacaniem długów. Następnie wykluczać osoby z takim kodem pocztowym, z listy potencjalnych pożyczkobiorców/czyń. Teoretycznie zostało wykorzystane neutralne kryterium (kod pocztowy), ale załóżmy, że ten kod pocztowy zamieszkują głównie osoby danej rasy. Jeżeli bank wykorzysta program AI do eliminowania osób, które nie spłacają długów, w praktyce uderzy to w konkretną rasę. Organizacje mogą też intencjonalnie wykorzystywać “dane zastępcze” do dyskryminacji na tle rasowym.

Jak zapobiegać dyskryminacji

Istnieją sposoby na zmniejszenie stronniczości narzędzi opartych na AI/ADM. Przykładami są “zorientowane na człowieka” rozwiązania uwzględnione w procedurach zamówień publicznych oraz wdrożenie oceny skutków działania algorytmów. World Economic Forum stworzyło “10 zasad zamówień publicznych na systemy wykorzystującesztuczną inteligencję”:

Wykorzystuj te procedury zamówień publicznych, które skupiają się nie na wyszukiwaniu dokładnych rozwiązań, tylko na dobrym zarysowaniu istniejącego problemów i możliwości. Pozwól na analizę różnych opcji.
Zdefiniuj korzyści korzystania z danego programu opartego na AI przy tworzeniu oceny ryzyka.
Zapoznaj dział zamówień publicznych z odpowiednimi strategiami rządowymi i pracuj nad ich dalszym rozwojem.
Uwzględnij w swoim zamówieniu istniejące regulacje, które mogą mieć potencjalne zastosowanie oraz odnieś się do kodeksów dobrych praktyk.
Przedstaw na ile, zarówno pod względem technicznym jak i administracyjnym, masz możliwość dostępu do potrzebnych danych.
Przedstaw, oparte na etyce ograniczenia w korzystaniu z danych, żeby uniknąć tworzenia dyskryminacyjnych schematów.
Pracuj z zespołami, które są zdywersyfikowane i multidyscyplinarne.
Podczas tworzenia procesu zamówień publicznych upewnij się, że działanie algorytmu jest sprawdzalne i może zostać poddane ocenie oraz jego działania podejmowane są zgodnie z zasadami przejrzystości.
Zadbaj, żeby dostawca systemu opartego na AI był na stałe zaangażowany w proces. Pomoże to uzyskać dostęp do koniecznej wiedzy i ustalić długoterminową strategię przeciwdziałania ryzyku.
Zadbaj o otwarte i uczciwe zasady przetargu dotyczące doboru dostawców systemów opartych na AI.

Wiarygodne systemy oparte na AI/ADM, zgodnie z definicją Grupy ekspertów wysokiego szczebla ds AI przy Komisji Europejskiej, charakteryzują się: nadzorem człowieka, stabilnością i bezpieczeństwem technicznym, właściwym zarządzaniem prywatnością danych i samymi danymi, przejrzystością, bezstronnością, szeroko pojętą dbałością o zróżnicowanie, dbałością o społeczeństwo i środowisko oraz rozliczalnością. Te zasady powinny zostać wzięte pod uwagę w trakcie przeprowadzania przetargów publicznych dotyczących takich systemów.

Przykładowo,wprowadzenie zasady przejrzystości funkcjonowania systemu powinno być jednym z wymogów zapisanych w przetargu i odnosić się do wymogu tworzenia systemu w otwartym kodzie, co sprawi, że niezależni eksperci będą mieli możliwość weryfikacji kodu, żeby wyeliminować potencjalne ryzyka dyskryminacji.

Kluczowe elementy publicznego AIA zostały opisane w AI Now Institute Algorithm Impact Assessments: A Practical Framework For Public Agency Accountability.

Urzędy powinny przeprowadzić ocenę zaimplementowanych i planowanych systemów ADM/AI. Sprawdzony powinien zostać potencjalny negatywny wpływ na: sprawiedliwość, równość, bezstronność oraz inne aspekty mające wpływ na obywateli/ki.
Urzędy powinny przeprowadzić profesjonalny audyt zewnętrzny, żeby ocenić długofalowy wpływ działania systemów.
Urzędy powinny udostępnić opinii publicznej: jaką przyjęły definicję ADM/AI, jakie systemy już są wdrażane, jakie są planowane oraz wszystkie adekwatne wewnętrzne i zewnętrzne oceny tych systemów jeszcze przed ich wdrożeniem.
Urzędy powinny publicznie wyjaśnić wątpliwości społeczności i odpowiedzieć na pojawiające się pytania
Władze powinny wprowadzić adekwatne procedury odwoławcze i naprawcze, odpowiadające na potencjalną niewłaściwą, stronniczą, niesprawiedliwą lub w inny sposób krzywdzącą ocenę sytuacji przez algorytmy, uderzającą w jednostki lub grupy społeczne, w przypadku, w którym władzom nie uda się zmienić skutków działania algorytmu.

Wdrożony już przykład systemu oceny ryzyka wprowadzenia algorytmu możemy znaleźć w Nowej Zelandii (the Algorithm Charter For Aotearoa). Poniższa matryca jest stosowana przed opisaniem szczegółów systemu za pomocą formularza.

Po zastosowaniu tej matrycy, należy wypełnić kwestionariusz szczegółowo oceniający system. Można wykorzystać do tego formularz opracowany w Kanadzie, który zawiera m.in. następujące pytania.

Czy rekomendacje albo decyzje podejmowane przez systemy oparte na AI/ADM są w jakimś stopniu uznaniowe?
Jaki jest margines uznaniowości?
Czy systemy są używane przez inne komórki organizacyjne niż ta, która je stworzyła?
Czy skutki decyzji podjętych przez system są odwracalne?
Jak długo będą oddziaływać skutki decyzji podjętych przez system?
Czy ADM korzystają z danych osobowych obywateli/ek przy podejmowaniu decyzji
Jaki jest najwyższy stopień bezpieczeństwa danych początkowych, które wykorzystuje system?
Kto zarządza danymi i je sprawdza?
Kto przygotował dane używane przez system do “nauki”?
Kto przygotował dane początkowe dla systemu?

Podsumowanie

Urzędy, które chcą przygotować się do szerszego wdrożenia rozwiązań AI/ADM, aby zapobiec potencjalnemu ryzyku dyskryminacji, powinny:

- Wprowadzić politykę wdrażania algorytmów opisującą proces i osoby odpowiedzialne (najlepiej multidyscyplinarny i zróżnicowany zespół).

- Wprowadzić algorytmiczne oceny wpływu (ang. Algorithmic Impact Assessments).

- Wprowadzić klauzule przejrzystości w umowach z firmami dostarczającymi oprogramowanie i otwarty dostęp do kodu źródłowego, jeśli nie dla szerokiej publiczności, to przynajmniej dla ekspertów zewnętrznych.

- Wydanie wytycznych wyjaśniających działanie algorytmów osobom, na które wywierany jest bezpośredni wpływ.

- Opracowanie systemu przeglądu rozwiązań AI/ADM, ponownie z uwzględnieniem multidyscyplinarnego i zróżnicowanego zespołu.

- Zaangażowanie obywateli i ekspertów w planowanie zamówień publicznych i wdrażanie AI/ADM, co pomoże zidentyfikować potencjalne zagrożenia związane z dyskryminacją.

- Zaangażowanie urzędników publicznych i innych pracowników zaangażowanych bezpośrednio lub pośrednio w korzystanie z rozwiązań AI/ADM w programy budowania wiedzy i kompetencji.

Tekst powstał jako podsumowanie webinaru przeprowadzonego przez Krzysztofa Izdebskiego, dyrektora programowego Fundacji ePaństwo w ramach programu Rady Europy Intercultural cities.