Jeg antar at regulerende myndigheter allerede har tenkt på dette, men jeg lurer på en ting.

Et autonomt kjøretøy er konseptuelt enkelt. Et sett med sensorer registrerer informasjon fra bilen selv, og fra omgivelsene. En “svart boks” mottar denne informasjonen og spytter i sanntid ut det neste kontrollsignalet til bilen. Hvilke kontrollsignaler som gis er avhengig av hvilke mål som skal oppnås, samt hvilke risikofaktorer som skal minimaliseres. Typiske mål kan være:

  • Å nå bestemmelsesstedet
  • Å ikke medføre skade på omgivelser,..
  • andre trafikanter,…
  • kjøretøyet selv, eller…
  • kjøretøyets fører og passasjer.

Disse målene, kan avhengig av situasjon, utelukke hverandre. Det kan oppstå situasjoner der man ikke kan oppfylle alle målene, f.eks i en mulig ulykkessituasjon. Målene må derfor rangeres etter prioritet. Sannsynligvis etter produktet av sannsynlighet for ikke å nå målet og konsekvens av ikke å nå målet.

Jeg tror enkelte ble noe sjokkert, da det begynte å gå opp for folk at det å “holde fører/passasjer i live”, ikke nødvendigvis var høyeste prioritet i implementasjoner av autonome kjøretøy.

Jeg ble sannsynligvis noe mer sjokkert når Mercedes-Benz nylig annonserte at deres fremtidige autonome kjøretøy ville prioritere passasjerens sikkerhet fremfor andres – også over fotgjengeres.

Autonome kjøretøys optimale firmware-etikk kan iofs diskuteres, men det jeg lurer på er følgende:

Har noen der ute tenkt på dynamikken i ulykkesscenarier der kjøretøy med forskjellig firmware-etikk er involvert ?

Setting:

To kjøretøy møtes front mot front i høy fart. Ingen av førerne rekker å reagere.

De bilene som har innebygget AI konkluderer med at nedbremsing ikke vil hjelpe, men at unnamanøver kan gjøres i retning av fjellvegg, eller mot en famile, som går tur langs veien . Kjøretøyenes AI må hver velge en av følgende handlinger:

  1. Do nothing. Bilene vil da møtes front mot front, med fatale konsekvenser for førere/passasjerer, men uten skade på omgivelsene
  2. Unnamanøver mot fjellveggen. Vil resultere i fatale konsekvenser for fører/passasjer.
  3. Unnamanøver mot familie på tur. Vil få fatale konsekvenser for familie på tur, men vil berge fører/passasjer.

Kjøretøyene som møtes kan være fra følgende produsenter:

  • “A”. Denne produsenten ønsker å minimalisere antall søksmål i forbindelse med ulykker og har derfor en klausul i kjøpskontrakten, der det står med liten skrift at bilens AI i en ulykkessituasjon vil prioritere andre trafikanters sikkerhet over passasjer/førerens sikkerhet.
  • “B”. Denne produsenten prioriterer sine kunder høyest og bilens AI vil derfor forsøke å beskytte sin egen fører i en ulykke, uansett konsekvens for andre.
  • “C”. Denne produsenten har en “gjør minst mulig total skade”-policy.

Scenariene under antar at de autonome kjøretøyene kun foretar en korreksjon. Dette er en overforenkling, men alle kjøretøy som implementerer slike strategier vil kunne være i av scenariene under og kun ha tid til å foreta en siste korreksjon før situasjonen er avklart.

Scenario: “Happy path.”.

Kjøretøy “A” og “B” frakter en person hver. Biler av merke “C” frakter 4 personer. Risiko vurderes som sannsynlig utfall x konsekvens (i form av tap av liv)

Varianter:

  1. “A” mot “A”. Begge vil kjøre inn i fjellveggen. Resultat: 2 casualties.
  2. “A” mot “B”. Bil “A” vil kjøre inn i fjellveggen og Bil “B” vil kjøre inn i familien på tur. Alle policyer er ivaretatt og alle er happy. Resultat: 4 casualties.
  3. “B” mot “B”. Kjøretøyene vil møtes front mot front – med familien på tur i midten. Resultat: 5 casualties..
  4. “A” mot “C”. “A” kjører som forventet inn i fjellveggen, “C” velger å kjøre inn i familien, siden 3 er 1 færre enn 4. Resultat: 4 casualties.
  5. “B” mot “C”. “B”.Kjøretøyene vil møtes front mot front, med familien på tur i midten. Resultat: 8 casualties.
  6. “C” mot “C”. Kjøretøyene vil møtes front mot front – med familien på tur i midten. Resultat: 11 casualties.

Legg merke til at familien på tur ikke overlever noen av disse scenariene, der AIen forsøker å redusere konsekvensene av en mulig møteulykke.

Scenario: “Prisoner’s Dilemma by Proxy’ish”.

AIen i et autonomt kjøretøy må nødvendigvis gjøre en risikovurdering før den velger en manøver. Dette er en funksjon av all tilgjengelig informasjon. Jo mer informasjon, jo bedre beslutninger kan kjøretøyets AI foreta. Det vil derfor være naturlig å også forsøke å ta beslutning basert på hvilket type kjøretøy man møter i en ulykke.

Hvilket åpner for en del spennende alternativer. Totalt antall casualties i scenariene over er 34. Ved at en av kjøretøyene “lyver” mht å følge sin strategi, så vil antall casualties i hvert eneste av scenariene over reduseres med 1-4″ pr. scenario

Hvis ingen av kjøretøyene følger sin strategi. Dvs ikke forsøker å unngå møteulykken, så vil totalt antall casualties i hvert scenario være 13 færre enn om de fulgte sin strategi.

Legg merke til at familien alltid vil overleve hvis ingen av AIene forsøker å redusere konsekvensene av den mulige ulykken.

Scenario: “Tickling the Dragon’s Tail”.

La oss nå anta at ulykken skjer i tett trafikk av autonome kjøretøy. To kjøretøy oppfatter en mulig ulykkessituasjon, og utfører derfor hver sin nødvendig unnamanøver, som i sin tur vil oppfattes av andre autonome kjøretøy – som en mulig ulykkessituasjon.

En høy konsentrasjon av “A”-produserte kjøretøy vil fungere absorberende og systemet vil etterhvert falle til ro, men en høy nok konsentrasjon av “B”-produserte kjøretøy (som vil beskytte føreren for enhver pris), vil resultere i en kjedereaksjon av potensielt livsfarlige unnamanøvre. D.v.s. livsfarlige for alle andre trafikanter.

Jeg har nå sett bort fra problematikk forbundet med slikt som valg av komponenter fra rimeligste tilbyder, built in obsolescence på ymse nivå i komponenthierarkiet, utilsiktet bias i AI/beslutningssystemer, hackingpotensiale i form av sensorangrep, samt det faktum av at alt dette gjerne er sauset sammen under tidspress fordi man ikke vil komme for sent på markedet – av hardwarefolk – i C++. Og hva skjer i det øyeblikk det dukker opp “tuningverktøy” eller modchips for autonome kjøretøy ? Vil man få kjøpe kit med manuelle PID-kontroller for dashboard, samt racing-treningssett for AIen på USB stick ? What could possibly go wrong ?

PS. Jeg innrømmer villig vekk at scenariene over er en etter-rasjonalisering av en konklusjon, tatt på sviktende grunnlag. Det betyr likevel ikke at de ikke er gyldige.