Vedder & Naudts 2017 – Accountability for the use of algorithms in a big data environment¶

Kort fortalt

Forfatterne definerer ansvarlighet (accountability) som evnen til å gi gode grunner for å forklare og rettferdiggjøre handlinger, beslutninger og politikk overfor et (tenkt) forum (s. 206) [U]. Fordi både private og offentlige beslutningstakere i økende grad bruker algoritmer på store datamengder, trengs egne ansvarsmekanismer (s. 206) [U]. De hevder at ansvarsmekanismene i GDPR ikke kan brukes på en god måte for slike algoritmer, fordi algoritmene er komplekse og ofte virker på et «tilfeldig gruppenivå» (s. 206) [U]. De konkluderer med at ansvarlighet må gå ut over personvern, og at det trengs bred interessentmedvirkning og bransjespesifikt tilsyn (s. 219) [U].

Problemstilling og hovedpåstand¶

Spørsmål: hvilken form skal ansvarlighet ha når komplekse algoritmer brukes, og resultatene kan gjelde andre eller flere personer enn dem som er med i inndataene (s. 207) [U]?
De kan ikke svare i detalj, men sikter mot de grove konturene av et utgangspunkt for et svar (s. 207) [U].
Hovedpåstand: virkningene av algoritmer går ut over personvernet, så algoritmisk ansvarlighet kan ikke bygge bare på personvernprinsipper eller rettes bare mot et datatilsyn (s. 219) [U].
De prøver å holde seg nær GDPRs grunnantakelse: ikke å stenge for nyttig bruk av data, men å muliggjøre ansvarlig bruk gjennom ansvarsmekanismer (s. 207) [U].

Teoretisk perspektiv¶

Rett og etikk innen informasjonsteknologi; definisjoner av algoritmer (Hill, Gillespie) og stordata (boyd og Crawford) (s. 206) [U].
Kritiske algoritmestudier: Kitchin, Pasquales «black box society», Burrell om ugjennomsiktighet, Kroll m.fl. om ansvarlige algoritmer (s. 207–210, 215) [U].
Litteratur om ansvarlighet: OECDs prinsipper fra 1980, Artikkel 29-gruppen, Zimmermann og Cabinakova (s. 211, 214) [U].
Vedders eget tidligere arbeid om tilfeldige grupper og ikke-distributive profiler (Vedder 1999) (s. 210) [U].
Solove (2013) om personvern som «selvforvaltning» og Obar om grensene for det (s. 216) [U].

Empirisk materiale og kontekst¶

Ingen empirisk studie. Juridisk analyse av EUs personvernforordning (GDPR), særlig ansvarsprinsippet (art. 5), vurdering av personvernkonsekvenser (art. 35), protokoll over behandlingsaktiviteter (art. 30), retten til ikke å bli gjenstand for automatiserte avgjørelser (art. 22) og åpenhet (s. 211–214) [U].
Kontekst: skrevet før GDPR trådte i kraft («the upcoming GDPR») (s. 206) [U].

Metode¶

Begrepsmessig og juridisk analyse: først algoritmenes kompleksitet, så ansvarsmekanismene i GDPR, så en vurdering av om de er tilstrekkelige (s. 208–219) [U].

Sentrale begreper¶

Begrep	Hvordan kilden definerer eller bruker det	Side	U/T
accountability	Evnen til å gi gode grunner for å forklare og rettferdiggjøre handlinger, beslutninger og politikk overfor et (tenkt) forum	206	U
algorithm	Kodede prosedyrer som gjør inndata om til et ønsket resultat	206	U
big data	(boyd og Crawford) Fenomen der teknologi brukes til å samle, analysere, koble og sammenligne store datasett for å kunne fremsette påstander	206	U
technical complexity	Algoritmespråk, tilfeldiggjøring, kombinasjoner av algoritmer, avhengighet av data og andre algoritmer	208–209	U
contextual complexity	Algoritmer er relasjonelle, verdiladede og gir situasjonsbestemte resultater	209–210	U
random groups	Grupper dannet av algoritmer ut fra skjulte fellestrekk; ikke lett å gjenkjenne	210	U
non-distributive statements	Utsagn om medlemmer av en gruppe som ikke trenger å gjelde hver enkelt	210	U
forum of accountability	Hvem beslutningstakeren står til ansvar overfor: individer, tilsyn, organisasjoner	217–218	U
unfair differentiation	Et bredere begrep enn diskriminering, som også omfatter forskjellsbehandling loven ennå ikke dekker	217–218	U

Hvordan personvern og private data forstås¶

Det har lenge vært en tendens til å se dataenes samfunnsvirkninger som noe personvernretten skal håndtere (s. 207) [U]. Forfatterne mener at det ikke er nok for algoritmer (s. 214–219) [U].
Personvern beskrives som en grunnleggende rettighet, med prinsipper som rettferdighet, åpenhet og ansvarlighet (s. 211) [U].
GDPRs vekt på den enkelte registrerte passer dårlig når algoritmer påvirker grupper eller potensielt alle (s. 218) [U].
Algoritmer i stordatasammenheng bruker eller lager ikke nødvendigvis personopplysninger i streng forstand, og kan dermed falle utenfor GDPR (s. 215) [U].
Ansvarlighet overfor individet er en form for personvern som «selvforvaltning», som folk har lite tid og evne til (s. 216) [U].

Argumenter og funn¶

Algoritmer brukes av beslutningstakere i både privat og offentlig sektor, for eksempel om jobb, kredittverdighet og mistanke hos politiet (s. 206–207) [U].
Algoritmer er verdiladede; synet om at «datamaskinen vet best», overser dette (s. 209) [U].
Forretningshemmeligheter er en menneskeskapt årsak til ugjennomsiktighet, i motsetning til teknisk og kontekstuell kompleksitet (s. 210) [U].
Åpenhet er ikke i seg selv ansvarlighet (s. 215) [U]. Åpenhet om sammenheng og formål kan likevel skapes (s. 215) [U].
I stordatasammenheng kan formålet med behandlingen forbli uavklart eller endre seg, og derfor er ansvarlighet i etterkant viktig (s. 216) [U].
Konsekvensvurderinger skjer på forhånd, mens ansvarlighet vanligvis kommer i etterkant; algoritmenes virkninger er vanskelige å forutse (s. 216) [U].
Retten til ikke å bli gjenstand for automatiserte avgjørelser gjelder bare «utelukkende automatiserte» avgjørelser, og hjelper ikke folk hvis data ikke er samlet inn, men som likevel berøres (s. 213, 217) [U].
Ansvarlighet overfor ett tilsyn risikerer å overse andre berørte interesser; det trengs bred interessentmedvirkning og bransjespesifikt tilsyn (s. 219) [U].

Begrensninger kilden selv nevner¶

De kan ikke svare i detalj på hovedspørsmålet; bare grove konturer (s. 207) [U].
De ser på algoritmer som behandler data om personer, selv om algoritmer om ting også kan få store virkninger (s. 208) [U].
Det gjenstår å se om algoritmiske risikoer kan kartlegges i praksis (s. 216) [U].
Bred interessentmedvirkning har egne vansker, for eksempel med konkurranseretten (s. 221, note 40) [U].

Hva kilden ikke dekker¶

Norge eller nasjonal gjennomføring av GDPR [T].
Empiriske eksempler på offentlige myndigheters bruk av algoritmer [T].

Mulig relevans for oppgaven¶

Ansvarlighet og åpenhet er trolig sentrale ord i norske dokumenter; artikkelen gir en presis definisjon og viser grensene for GDPRs mekanismer [T].
Poenget om at GDPRs vekt på individet passer dårlig med gruppevirkninger (s. 218), kan kobles til kollektive forståelser av personvern i andre kilder [T].
Artikkelen omfatter uttrykkelig offentlige beslutningstakeres bruk av algoritmer (s. 206) [U], som berører statens bruk av data [T].

Forbindelser til andre kilder¶

Fairfield & Engel 2015 – tematisk: begge hevder at personvernproblemer gjelder grupper, ikke bare individer [T].
Abiteboul & Stoyanovich 2019 – tematisk: begge drøfter åpenhet og GDPRs rettigheter i møte med algoritmer; Abiteboul og Stoyanovich fra en teknisk vinkel [T].
Solove 2011 – Vedder og Naudts siterer Solove 2013 om personvern som selvforvaltning (s. 216), ikke boken fra 2011 [U].
Grimmelikhuijsen et al. 2013 – tematisk: åpenhet [T].
Bennett 2018 – Vedder og Naudts siterer Bennett 2010 om ansvarlighet (s. 211); om dette henger sammen med Bennett 2018 i kildelisten, kan ikke sjekkes, fordi PDF-en mangler [T].

Nøkkelsitater¶

“Accountability is the ability to provide good reasons in order to explain and to justify actions, decisions and policies for a (hypothetical) forum of persons or organisations.” (s. 206)

“Algorithms in a Big Data context, however, although often relating to human beings, do not necessarily use or produce personal data in the strict sense” (s. 215)

“Transparency as such, however, does not constitute accountability” (s. 215)

“As the effects of algorithms transcend the realm of data protection, so must the approach in algorithmic accountability.” (s. 219)

Åpne spørsmål til Rebekka¶

Bruker norske dokumenter «ansvarlighet» og «åpenhet»? Betyr ordene det samme som her?
Hvem er «forumet» for ansvarlighet i dokumentene: individet, Datatilsynet, Stortinget, offentligheten?
Drøfter dokumentene gruppevirkninger av algoritmer, eller bare individuelle rettigheter?
Er artikkelens skille mellom åpenhet og ansvarlighet nyttig for analysen din?