Algorytmy, jak robić to źle?

Bardzo często, przy wdrażaniu nowych technologii w instytucjach publicznych słychać komentarze, że “w końcu nowoczesność, optymalizacja pracy, ułatwianie życia urzędnikom i obywatelom i że poczyniliśmy właśnie wielki krok dla człowieka”. Przy wdrażaniu automatycznego systemu podejmowania decyzji na podstawie danych, np. kontroli czy obywatele nie oszukują przy płaceniu podatków, czy przydzieleniu sędziego do konkretnej sprawy, pojawia się wątek przewagi programu nad człowiekiem. Algorytmy są przecież bezstronne i oparte na technologii więc sprawiedliwe i nieomylne. Czy faktycznie? 

Jak wkurzyć studentów, rodziców i nauczycieli?

Ze względu na Covid-19 wiele krajów musiało znaleźć sposób na poradzenie sobie z egzaminami w nowych warunkach. W Anglii egzaminy się nie odbyły, zdecydowano się na rozwiązanie, w którym algorytm miał wystastandaryzować wystawione przez nauczycieli oceny. System miał brać pod uwagę między innymi oceny z poprzednich lat w szkole z danego przedmiotu, poprzednie oceny uczniów, aktualne osiągnięcia uczniów, wyniki całego kraju. Rezultat był opłakany. Prawie 40% najwyższych ocen wystawionych przez nauczycieli zostało zaniżonych o dwa lub jeden stopień. Wykryto również, że zaniżano zwłaszcza oceny uczniów ze środowisk biedniejszych. Wywołało to ogólne wzburzenie w kraju, co oczywiste głównie wśród uczniów, którzy przez algorytm mieli stracić szansę na dostanie się na wymarzone uczelnie. 

W żłobkach nie skandują “Fuck”

W 2019 roku, razem z innymi organizacjami pozarządowymi z Europy Środkowo-Wschodniej sprawdziliśmy jak wygląda wdrażanie algorytmów do instytucji publicznych w Polsce, Czechach, Gruzji, Serbii, Słowacji i Węgrzech. Wnioski, które wyciągnęliśmy nie były zbyt wesołe:

1. Nie istnieją ogólnokrajowe wytyczne i procedury związane z implementacją algorytmów.
2. Nie istnieją rozwiązania prawne w pełni opisujące prawa i obowiązki państwa przy wprowadzaniu algorytmów.
3. Systemy, na których opierają się algorytmy nie są tworzone w otwartym kodzie i wiedza na ich temat nie jest dostępna dla opinii publicznej.
4. Nie istnieją instytucje, które nadzorują algorytmy w instytucjach publicznych lub chociaż miałyby adekwatną do tego zadania wiedzę. 

W Polsce algorytmy zajmują się między innymi przydziałem sędziów do rozpraw. I nie jest to proces pozbawiony błędów. Część sędziów dostaje nieproporcjonalnie więcej spraw niż inni i jest przeładowana pracą. Dodatkowo, jakkolwiek prezes każdego sądu może sprawdzić efekty przydziału sędziów przez panel administratora, to dostęp do samego narzędzia ma wyłącznie przedstawiciel ministra sprawiedliwości. We Wrocławiu z kolei wprowadzono algorytm, który miał przydzielać miejsce w żłobkach. Okazało, się że algorytm kwalifikował dzieci do niewłaściwych grup wiekowych. Dzieci w żłobkach są jeszcze zbyt małe, żeby podobnie jak brytyjscy studenci wyjść na ulicę i skandować “Pieprzyć algorytm”, ale rodzice zachwyceni nie byli. 

Wszyscy chcą być potęgą

Rozwój automatycznego podejmowania decyzji w sektorze publicznym łączy się z przyszłością wdrażania rozwiązań opartych na Sztucznej Inteligencji (AI). Kraje UE miały przygotować swoje strategie rozwoju sztucznej inteligencji do końca 2019 r. Nie wszystkim to się udało. Polska powinna swoją strategię przyjmować na dniach. Swoje strategie przygotowały też kraje spoza UE, w tym te z regionu Europy Środkowo-Wschodniej.  Czy będzie lepiej? Nie wiadomo. Jak na razie przynajmniej kilka krajów (w tym Polska [przynajmniej zgodnie z poprzednią wersją strategii], Rosja, Rumunia i Czechy) deklaruje, że mają w planach zostać potęgą, jeżeli chodzi o rozwiązania związane z AI, ale podchodzimy do tych zapewnień z daleko posuniętym dystansem. 

Algorytmy, jak robić to dobrze

Tematem jednak trzeba się zająć i to porządnie. Nie chodzi o to, że sam pomysł wdrażania rozwiązań AI do instytucji publicznych jest zły. Faktycznie może ułatwić w dużym stopniu życie obywatelom i urzędnikom, natomiast warunkiem jest sensowny proces implementacji:

1. Władze powinny stworzyć i podać do opinii publicznej politykę wprowadzania automatycznych systemów podejmowania decyzji. Powinna ona zawierać informacje na temat ochrony kwestii etycznych i zabezpieczenie w postaci szczegółowych i niezależnych audytów algorytmów.
2. Potrzebujemy kompleksowego planu oceny skutków wprowadzenia algorytmów. Władze i obywatele powinni mieć dostęp do informacji: po co algorytm jest wprowadzany, co mamy dzięki niemu zyskać, jakie grupy społeczne mogą ponieść ewentualne konsekwencje jego wprowadzenia. Co najważniejsze, powinien również istnieć system rezygnacji z wprowadzenia algorytmu, jeżeli potencjalne ryzyka jego wprowadzenia, przeważają nad zyskami.
3. Współpraca z dostawcą rozwiązania nie powinna się kończyć razem z  jego wdrożeniem. Dodatkowo powinien być zapewniony swobodny dostęp do kodu źródłowego algorytmu, wyjątkiem od tej zasady powinna być uzasadniona i udowodniona ochrona bezpieczeństwa państwa. 
4. Do każdego algorytmu powinien istnieć przewodnik z opisem działania. Powinien on być dostępny dla urzędników i opinii publicznej. Ułatwia to pracę z oprogramowaniem i jego kontrolę, również tą związaną z etycznymi aspektami jego działania

Razem z Open Data Kosovo, K-Monitor z Węgier, KohoVolit.eu z Czech, Metamorphosis Foundation z Północnej Macedonii od 1 października zaczynamy projekt, którego celem jest sprawdzenie co się zmieniło od czasu naszego ostatnio raportu i wsparcie państw regionu w zbudowaniu spójnych i praktycznych rozwiązań związanych z implementacją i kontrolą rozwiązań opartych na algorytmach.