Gå til innhold

Marres 2025 – How Tech Trials Put Society to the Test

Kort fortalt

Marres hevder at utprøving av KI-teknologi ute i samfunnet – selvkjørende biler på britiske gater, politiets forsøk med ansiktsgjenkjenning og DeepMinds app Streams ved Royal Free Hospital – gjør samfunnet til et testområde (s. 1–2) [U]. Dette er «trials of implicitness»: de skriver regnekrevende teknologi inn i bakgrunnen av hverdagslivet og svekker vilkårene for ansvarliggjøring (s. 1) [U]. Hun fører dette tilbake til paradigmet om eksperimentell innovasjon og kaller det en «infrastrukturalisering» av testing (s. 1, 8–9) [U]. Som motgrep foreslår hun en ny «Durkheim-test»: å vurdere teknologi opp mot samfunnsmål ved å skape eksperimentelle situasjoner (s. 1, 14–15) [U].

Problemstilling og hovedpåstand

  • Hovedpåstand: kontinuerlig teknologitesting i samfunnet endrer bakgrunnsvilkårene for det sosiale og offentlige livet på måter som begrenser hverdagsaktørers mulighet til å utøve ansvarliggjøring (s. 3) [U].
  • Paradoksalt nok gjør utprøvingene innovasjonene utilgjengelige for kritisk vurdering fra aktører i samfunnet, samtidig som de setter testteknologi inn i samfunnet (s. 3) [U].
  • For å se dette må blikket flyttes fra KI-ens egenskaper til måtene den innføres på: tester, piloter, testarenaer og forsøk (s. 3) [U].
  • Utprøvingene er ikke «trials of explicitness», men «trials of implicitness» (s. 13) [U].

Teoretisk perspektiv

  • STS og testsosiologi: «eksperimentering utenfor laboratoriet» (Van de Poel m.fl.), testarenaer (Laurent og Tironi, Engels m.fl.), prototyping av samfunnet (Dickel) (s. 4–6) [U].
  • Muniesa og Linhardts «trial of explicitness», som hun snur (s. 9) [U].
  • Infrastrukturstudier (Harvey m.fl., Larkin) (s. 9) [U].
  • Kritikere av KI og ansvarliggjøring: Rouvroy, Amoore, Hildebrandt (s. 2–3, 7, 13) [U]. Hun er uenig med Rouvroy i at algoritmiske systemer «sparer oss for byrden ved å teste» (s. 13) [U].
  • Susan Leigh Stars «Durkheim-test» (1989) (s. 14) [U].
  • Lukes om makt, Schutz, Heller (s. 14, 16) [U].

Empirisk materiale og kontekst

  • Britiske case: selvkjørende biler på gatene siden minst 2016, blant annet testarenaen i Greenwich; DeepMinds Streams-app ved Royal Free Hospital (2016), der selskapet fikk journalopplysninger om 1,6 millioner pasienter uten deres viten eller samtykke; politiets forsøk med ansiktsgjenkjenning (Met, South Wales); ansiktsgjenkjenning i skotske skoler (2021) (s. 1–2, 11–13) [U].
  • Sanksjoner: det britiske datatilsynet (ICO) reagerte mot Royal Free i 2017; forsøkene til South Wales Police ble kjent ulovlige av lagmannsretten i 2020 (s. 2) [U].
  • En innsynsbegjæring til Met om ansiktsgjenkjenningskameraer, som ble avslått (s. 11) [U].
  • Intervjuer med ingeniører og eksperter (s. 7, 17, note 3), og en tidligere analyse av YouTube-videoer av gateforsøk (s. 11) [U].

Metode

  • Begrepsmessig argument illustrert med britiske case, basert på forfatterens Leverhulme-prosjekt om testing av selvkjørende kjøretøy (s. 17) [U].
  • Hun definerer KI minimalt: hun følger den offentlige debatten når noe kalles «KI» (s. 17, note 2) [U].

Sentrale begreper

Begrep Hvordan kilden definerer eller bruker det Side U/T
tech trials / experimental innovation Å innføre ny teknologi i samfunnet tidlig i utviklingen og stole på tilbakemeldinger derfra 4 U
infrastructuralisation of testing Testing skrevet inn i hverdagsomgivelser som del av det underliggende apparatet 1, 9 U
trial of implicitness Utprøving som gjør innovasjon og vurdering usynlig og svekker ansvarliggjøring 1, 13 U
trial of explicitness (Muniesa og Linhardt) Øyeblikk der forholdet mellom innovasjon, samfunn og stat blir synlig 9 U
emergence testing Testing som utløser ansvarliggjøring i situasjonen ved å synliggjøre egenskaper som ikke var kjent fra før 13–14 U
Durkheim test (Star) Å teste systemer etter om de oppfyller fellesskapets mål 14 U
instrumentalisation of society Samfunnet redusert til omgivelser som tjener innovasjonen 5 U
assetisation Testarenaer gjør befolkninger, lokalsamfunn og steder til eiendeler 5, 15 U

Hvordan personvern og private data forstås

  • Ikke et sentralt begrep, men data inngår i hvordan utprøvingene virker: data fra hverdagsomgivelser sendes tilbake til selskapenes datasentre (s. 8) [U].
  • I Royal Free-saken ble pasientdata flyttet inn i et teknologiselskaps infrastruktur, og en kommersiell tredjepart overtok forvaltningen av pasientdataene (s. 2, 11) [U].
  • Overvåking nevnes blant samfunnsrisikoene ved utprøvingene (s. 2), og data fra selvkjørende biler brukes til overvåking (s. 2) [U].
  • Personvernlovgivning dukker opp gjennom ICOs reaksjon mot Royal Free for brudd på personvernlovene (s. 2) [U].
  • Personvern forstås dermed mest indirekte: som del av ansvarliggjøring og av hvordan omgivelser gjøres overvåkbare (s. 8, 15–16) [T].

Argumenter og funn

  • Eksperimentell innovasjon gjør samfunnet til interessenter, til forsøkspopulasjon og til testmiljø (s. 5–6) [U].
  • Testarenaer ligner frihandelssoner: reguleringen lempes, og omgivelsene utstyres med datainfrastruktur (s. 5) [U].
  • Maskinlæring sies å være en kontekstuell metode, men utprøvingene samler ikke bare inn data; de endrer omgivelsene slik at teknologien kan fungere (s. 8–9) [U].
  • De fleste utprøvinger foregår i bakgrunnen og blir ikke lagt merke til; selv når de offentliggjøres, gir de ikke nødvendigvis engasjement (s. 10) [U].
  • Utprøvingene flytter vurderingsoppgaver i politi, helse og trafikk inn i privat styrte datasystemer (s. 11) [U].
  • I Greenwich førte testarenaen til gjerder, overvåkingskameraer omtrent hver 20. meter og at syklister ble utestengt (s. 12–13) [U].
  • Konsultasjons- og deltakelsestiltak om KI løfter ofte KI ut av den sosiale sammenhengen, som et objekt for overveielse heller enn sosial eksperimentering (s. 15) [U].

Begrensninger kilden selv nevner

  • Hun holder i stor grad generativ KI som ChatGPT utenfor (s. 17, note 2) [U].
  • Utprøving som gjør ting usynlig, kan med tiden bli utprøving som gjør ting synlig, slik mottesting viser (s. 11) [U].
  • Det er svært vanskelig å angi en metode for å vurdere slik teknologi opp mot samfunnets felles mål (s. 16) [U].

Hva kilden ikke dekker

  • Norge eller Norden [T].
  • Offentlige dokumenter som sådan, selv om casene involverer offentlige organer (NHS, politiet) [T].
  • Grundig juridisk analyse av personvern [T].

Mulig relevans for oppgaven

  • En av få kilder i listen som direkte handler om offentlig sektors bruk av private data (helsedata, ansiktsgjenkjenning) i praksis [T].
  • Begrepet «trials of implicitness» kan være en linse for å spørre om norske dokumenter gjør statens databruk synlig eller usynlig for borgerne [T].
  • Piloter, testarenaer og «regulatoriske sandkasser» kan også dukke opp i norske dokumenter; artikkelen gir et kritisk vokabular for dem [T].
  • Den britiske konteksten må tas med i betraktningen [T].

Forbindelser til andre kilder

Nøkkelsitater

“Tech trials turn society into a testing ground, even as they dismantle the conditions for the evaluation of technology from the standpoint of social life.” (s. 1)

“Paradoxically, even as tech trials involve the insertion of testing technologies into environments in society, they render technological innovations unavailable for critical evaluation, or ‘testing’, by actors in society.” (s. 3)

“But this displacement of patient data into big tech company infrastructure remained invisible from within the care practices in relation to which it occurred” (s. 11)

“They constitute not trials of explicitness but of implicitness.” (s. 13)

“The Turing test should be replaced by the “Durkheim test,” that is, systems should be tested with respect to their ability to meet community goals” (s. 14)

Åpne spørsmål til Rebekka

  • Omtaler de norske dokumentene piloter, testarenaer eller regulatoriske sandkasser for databruk? Hvordan beskrives de?
  • Gjør dokumentene statens databruk synlig for borgerne, eller blir den liggende i bakgrunnen?
  • Er Royal Free-saken sammenlignbar med norske helsedatasaker du kjenner fra dokumentene dine?
  • Er Durkheim-testen – vurdering opp mot samfunnsmål – noe du ser i dokumentene, eller ser du fraværet av den?