Názory k článku
Morální dilema u autopilota Mercedesu: přejeď chodce

Keby bol autopilot nastaveny na ochranu chodca za kazdu cenu dalo by sa to pouzit na dokonalu vrazdu, skocite mercedesu do cesty ten nabura, lebo tak je autopilot nastaveny a moze za to autopilot.

Tu sa nehovori o tom ze niekto vstupi do vozovku 50 m pred autom a to nebude brzdit, ale o tom ze mu skoci do cesty 5m pred nim, brzdna draha bude 15 m a oproti pojde ine auto. Ked ho nezrazi mercedes tak to auto co ide oproti.

Pak je to jednoduche. Jelikoz chodec skocil do cesty autu tak, ze autopilot nemel sanci situaci vyresit lepe, je spravne chodce sejmout, protoze situaci zavinil on a ne posadka vozidla. ktera by trpela za nej.

Nie nie je to jednoduche, chodec moze byt 4 rocne dieta. Autopilot situaciu stihne vyhodnotit 10 000 krat kym ho zrazi. Ale autopilot dava aj ine moznosti, napriklad povel na odstrel airbagu na prednom narazniku.

Na zapad a jich od nasi kotlinky je bezne, ze chodec klidne vstoupi na prechod i metr pred autem (protoze vi, ze vsechny vozidla uz davno stoji). A kdyz dojde ke srazce, vinen je ridic. Chodec ma na prechodu absolutni prednost, a ridic mel predvidat! V tomto smyslu musi byt naprogramovan i autopilot.

Ono to opravdu neni tak tezke: kdyz vidim cloveka jak jde k prechodu, je jasne ze bude chcit prejit na druhou stranu. Chodec udela ty 3 metry za ~5 vterin, to je dost casu na to abys bezpecne zastal z 50tky...

blbost. procestoval jsem celou evropu, a neni to pravda. v kazdem malem kousku prevelike evropy to je jine. italove jezdi jak blazni, ale aspon dupou rychle na brzdy. v nemecku na jihu vsichni zastavi, na severu mas casto smulu. britanie je celkem ok. jizni francie nic moc.

A kde je receno, ze mercedes nevyhodnoti chodce ve vzdalenosti 1/2km jako "prave mi tam skocil, neni duvod brzdit" ...

Jasne, to jak inzenyri automobilek nejsou uplni debilove vidim dnes a denne ... treba na tom, ze panel radia neni podsvicen, pokud neni radio zaple, a to presto, ze obsahuje ovladaci prvky vozu, ktere s radiem vubec nesouvisi.

Mam pokracovat?

@ Ondra Satai Nekola

To je nápad. Místo vychytralých aut myslících za chodce, dát každému chodci obojek, který mu, pokud bude chtít přecházet blízko jedoucích aut, dá elektrošok. Něco jako ty psí obojky :-D

Na to jsem přišel tak, že ty automatické auta umí rozpoznat hrozbu a začít optimálně brzdit, umí se pohybovat, ale chyba je v tomto případě v chodcích že tam lezou když nemají, ne v těch autech, protože ty jak chodce zaznamenají, tak brzdí a chodcovi ta sami nevlezou. Tudíž se problém musí řešit na straně chodce, ne na straně auta. Když můžou nakazovat reflezní vesty a proužky, proč by nemohl být pracházecí náramek, nebo by mohla zablikat silnice - napájení solnic solárem, kdy se tím dokonce odvádí teplo a míň se ničí silnice a ještě se to dá uchovat je už docela stará technologi, jenom se na to s.re . . .

Každopádně chyba není na straně auta, tudíž její vnik tam těžko řešit a odstraňovat - dokud nebude auto brzdit na 15 a méně metrech - záleží kdo tam kdy vleze.

1. tak v první řadě, kolik lidí by chtělo v automobilu systém, který to při vyhodnocení nějakých podmínek aktivně napere do zdi a zabije řidiče/majitele. I kdyby tam byl přepínač sebezáchovný/se­bevražedný mód, tak spousta lidí nerozdýchá už představu, že to auto tu sebevraždu vůbec umí a má někde naprogramovanou
2. A pokud by v autě takový systém nebyl, protože bod 1 a řídil by ho člověk pod vlivem pudu sebezáchovy, tak ten chodec bude na placku tak jako tak.
Tohle morální dilema se neřeší u sebezáchovy lidských řidičů, proč by se mělo řešit u jejich autopilota.

Lidé se obvykle snaží. Proto se občas dočtete, že někde někomu někdo vběhl pod kola, ten to strhl do protisměru a při čelní srážce umřelo několik lidí. Případně jednou za pár let případ, že se snažil vyhnout, auto šlo do smyku, neovladatelné vjelo na chodník a mrzačilo tam.

Lidé mají právo říct "tomu už jsem se vyhnout nedokázal". Strojům to zatím upíráme.

Tak je rozdíl se v případě nevyhnutelné havárie sám za sebe snažit a vědět, že to v případě kritické situace auto schválně "chladnokrevně" napálí do pilíře mostu. Navíc když ten autopilot bude těžce placený doplněk. Sám bych to v autě nechtěl ani za slevu.

90% ridicu to napali do ty zdi ve snaze se tomu chodci vyhnout. Protoze tak ti veli instinkt - vyhnout se srazce. Musis takovy situace trenovat a bejt na ne psychologicky pripravenej, abys programove neuhnul a toho chodce sejmul (totez plati o zviratech, videl sem bouracky kvuli jezkovi na silnici ...).

Je to stejny jako kdyz se podivas jak vypadaj bouracky, pro ridice je vzdy nejlepsi varianta celni naraz, mas nejvetsi deformacni zonu, vsechny systemy auta v tomhle smeru sou pripraveny pohltit nejvic energie. Presto se kazdej snazi uhnout, a protoze to prevazne nezvladne, nasleduje bocni naraz a totalni destrukce auta.

System by mel vyhodnotit sanci na preziti. Tu ma chodec radikalne mensi a tim padem ho chranit. Regovat na bezprostredni nebezpeci a strhnout to do lesa, jak se vyhnout stromu resi v dalsi itetaci. ve meste je to slozite, ale predpokladam, ze sleduje i okoli, vidi lidi na zastavce, tak si to spocita a zabije toho jednoho. Od Mercedesu je toto PR, aby uklidnil lidi, ze je jejich auto nezabije schvalne.

Zadna dalsi iterace neni, jakmile manevr provedes, uz to nemuzes ani zmenit ani ridit.

Cely je to totiz postaveny na zcela neexistujicim predpokladu, ze lze provest nejaky manevr bezpecne - coz ale neni pravda, kdyby byla, nedojde k nehode.

1. Celá podstata tkví v tom, že systém by měl zvládat vyhodnotit původce krizové situace (neříkám, že je to jednoduché) a tím zodpovědnost - posralo auto, musí ochránit nezúčastněné, tj. chodce (provozovatel nese následky). Koneckonců tak by to mělo fungovat i u živých řidičů. Předložený systém upřednostnění auta vytváří morálně nepřijatelnou situaci (stejně jako u lidských řidičů), že v případě, že krizovou situaci navodí auto (což se určitě občas stane), poškodí nevinného. Vaší logikou je možno úplně stejně, ale z druhé strany říci, že chodci nerozdýchají, že by něco takového mělo vůbec jezdit po silnicích a vynutí zákaz takových aut. Celý problém spočívá v tom, že výrobce přenáší svůj problém auta na ty druhé. Kdyby to udělal živý řidič, je z toho poprask.
2. Nesmysl, mnohokrát se stalo, že řidič upřednostnil chodce i přesto, že dle výše uvedeného bodu byl chodec původcem situace a mimo zákon.
Vizte výše - princip odpovědnosti.

Blbost, prece nashval nezabijes nekoho, kdyz udelal chybu i kdyz tomu muzes zabranit nebo radikalne zmirnit nasledky za cenu poskrabaneho blatniku.
V prni rade jde o ochanu zdravi a zivota. Zbytek se pak soudi po pojistovnach.

2Tom: Pises peknou volovinu, behem toho okamziku co mas na rozhodovani rozhodne nikdy nevyhodnotis nasledky, naopak, je velice pravdepodobny, ze jakejkoli prudsi maevr povede naopak k tomu, ze predevsim TY budes ten, kdo to odsere, pricemz nikde neni receno, ze toho chodce nesejmes stejne. Naopak, prevazne je to tak, ze misto jednoho jich sejmes vic.

Obávám se, že jste nepochopil můj příspěvek. Jde pořád o dilema lidi v autě - lidi mimo auto, ne o dilema lidi kdekoliv - poškrábaný nárazník.

1. tak viník krizové situace se řeší v některých případech dlouhou dobu za pomoci mnoha různých indicií a vozidlo to najednou bezchybně zvládne za pomoci pár senzorů a rozpoznávání obrazu během pár milisekund? A že to bude umět rozpoznávat taková specifika, jako povinnost reflexních prvků mimo obec, změny v přednosti na přechodu a podobně?
2. tak je rozdíl, když se rozhoduju ze svobodné vůle nebo na základě vlastních reflexů a když nějaký technický systém zblbne nějakým prasátkem do kamery a napálí to do pilíře, aby někoho náhodou nepřejel.

1. Navíc se nebavíme o systému, který bude zasahovat řidiči do řízení a strhávat mu volant, ale o autopilotu, který by měl auto řídit tak, že v žádném okamžiku nesmí být viníkem nastalé krizové situace. Tedy jakékoliv vyhodnocení krizové situace autopilotem musí vždy detekovat, že viníkem krizové situace není vozidlo. Tedy pokud se bude pohybovat chodec podél vozovky a autopilot vyhodnotí, že by do ní mohl vstoupit a zároveň by za vzniklou krizovou situaci mohlo vozidlo, musí takový autopilot reagovat preventivně a nesmí očekávat, že chodec do vozovky nevstoupí a když vstoupí, tak zabije řidiče.

2lojza: Proto rikam, ze automatickej provoz nebude a nemuze nikdy fungovat bez zcela zasadniho prepracovani cely infrastruktury a to prave takovym zpusobem, aby naprosto nehrozila kolize s neautomatickym provozem.

Coz krasne dokazujou i ty googli auta, ktery zavinily uz nekolik desitek nehod. Podotykam - fakticky zavinily, po pravni strance to bylo prevazne naopak. On totiz ten clovek za volantem ocekava, ze ostatni se budou chovat ... tak jako vzdy. Vychazi predevsim ze zkusenosti a zkusenost treba rika, ze po prepnuti semaforu zcela vzdy 2-3 auta jeste projedou. Automat zcela predpisove dupne na brzdu ... a ridic za nim do nej napali.

Dtto prechod, kdzy vidim chodce, kterej vypada ze asi hodla prejit, a zaroven a zamou nikdo nejede, tak projedu - je to logicky, ekonomicky i ekologicky. Kdyz je zamnou kolona aut, tak zastavim a necham ho projit... jenze ... automat opet automaticky dupne na brzdu, to chodce vykoleji, protoze to neceka, zustane stat, automat se rozjede, a chodec mu skoci pod kola ... krasa.

Říkáte to správně, auto se snaží chovat tak, aby nevytvořilo krizovou situaci, tudíž nebylo viníkem, ale vzhledem k nemožnosti formalizace provozu vzhedem k nedomyšlenostem v zákonu a provedení komunikací v praxi se asi nepodaří zachovat čistotu auta (morální, právní a možná ani mechanickou).

a prečo by mal byť v aute autopilot?

To jasno Mercedesu se hodně rychle zatáhne při prvním soudním stání.

A autopilot není povinen předvídat?
Chci rovné podmínky. Když autopilot muže chránit posádku, tak chci jako řidič stejné právo.
A ne aby se pak po mě vozil policajt a následně soudce, že jsem měl předvídat i co vyjde ve sportce...

Tu povinnost má. A všechno nahrává. Takže bude v případě nehody jasné rozhodnout, nakolik se tomu zabránit dalo.

Jinak policajti se po vás můžou vozit jak chtějí, poslední slovo má soudce. A zatím vždy rozhodli, že možnost "předvídat a proto vůbec nevyjet autem z garáže" není přijatelná. Vždy se nakonec posuzovala konkrétní situace.

Auta zakázat, dopravu ze silnic přesměrovat do podzemních drah a bude klid.

Uvedená dilema je v poriadku, ak do vozovky vstúpil mimo prechodu chodec a vodič nemal možnosť jeho konanie predvidať. Čo ale v prípade, že vodič je blb, jazdí ako blázon, v tomto prípade by mal autopilot v prvom rade zahlušiť jeho ...

Mne to dava smysl v tom, ze po odstraneni chyb ta auta budou respektovat silnicni znaceni a pravidla lepe a deterministic­teji/systematic­teji, nez chodci, cili pokud dojde k nejake situaci, kdy je chodec v ohrozeni, s nejvetsi pravdepodobnosti si za to muze sam.

Kdyby vsichni ucastnici silnicniho provozu zcela 100% respektovali vsechna pravidla, tak by nikdy nikdo nikam nedojel a ani nedosel. K tvymu prekvapeni ... trebas v Indii maji nejaky pravidla nahaku prakticky uplne vsichni, a ... presto tam vzhledem na pocet obyvatel dochazi k velmi malymu poctu nehod.

Schvalne, co ze mas udelat, pokud je na silnici vodorovny zluty znaceni? Nj, ono ma prednost pred tim bilym zejo ... takze ... na dalnici ... kde soudruzi cosi pred mesicem kutali ... a ten zlutej pruh svadejici provoz tam nechali (ale veskery ostatni znaceni odstranili) udela auomat predpisove presne to, co udelat ma - prudce vyboci z jizdniho pruhu (nebot rychlost omezena neni) a zpusobi hromadnou dopravni nehodu. Lidsti ridici ten zlutej pruh neprekvapive zcela vpohode ignorujou. A s nim i miliony jinych zcela nesmyslnych znacek.

Pamatuju si, ze po nejakym tom prazskym sklidnovani dopravy se soudruhum povedlo na Vinohradech vyrobit uzasnou vec ... system jednosmerek, do kteryho slo najet, ale uz z nej neexistovala zadna legalni cesta ven. Automat je v riti.

Nemecko 80M obyvatel
Indie 1,3G obyvatel ...

S**** tu bl***te vy! Jestli je v Indii 1.3G obyvatel z nichz rekneme 1.1G auto prakticky nepouziva, tak nehodovost na pocet obyvatel bude nizsi i kdyby tam boural kazdej druhej. Takze ta vase statistika je sice pravdiva ale o bezpecnosti provozu nerika lautr nic.

Nerad někomu něco přikazuji nebo důrazně doporučuji, ale pokud někdo nechápe, proč poměr
"130 umrti / 100000 motorovych vozidel" nijak nezávisí na počtu obyvatel ( krom nějakého nutného počtu vlastníků, aby se dala vůbec země označit za zemi s nějakým provozem ) a proč nezáleží kolik je v dané zemi aut, neměl by k tomu radši psát vůbec nic.

Mentální kondice obyvatelstva a tím přístup k věcem a dění se na statistice podepíše, ale "130 umrti / 100000 motorovych vozidel" to už prostě vyjadřuje v sobě. Je fakt, že optimální by byl celkový počet nehod na x aut rozdělený třeba na lehké, střední a těžké, jenomže evidentně je "počet úmrtní na počet aut" dostatečně složitý, resp. vyřerpávající, údaj.

Tim svym elaboratem akorat dokazujes, ze na lidi neni spoleh. Ocenuji vasen, s jakou reagujes a urcite si do toho dal srdce, ale bohuzel to vubec neni k veci.

No... řešíte tu dilema co se má stát, když na přechod vběhne dítě, jestli zařve řidič nebo dítě. Ale co udělá mercedes (třeba náklaďák) až se bude muset rozhodnout mezi tím zda to napálí do stojící kolony čtyřiceti aut nebo do mostovky?

Můžete namítat, že takovou situaci chytrý systém nedopustí a auto (robot) bude vždy přizpůsobovat rychlost viditelnosti a stavu vozovky.

To sice ano, ale i tak se může stát, že se například porouchají brzdy a 100 tunový kamion se bude řítit dolů z kopce 100 km v hodině do stojící kolony.

Co asi udělá chytrý mercedes pak?

Nainstalujou katapult, ridice vystrelej, a pak automat prepocita hodnotu aut a zjisti, ze naklad ktery veze je cenejsi, tak to do nich nasije.

Chtěl bych vidět ten tvůj stotunový kamion, ty pilote.

strategie z dlouhodobého hlediska
1) Vždy zachraň posádku. Auto nesrazí chodce který na silnici není. Strategie nutí chodce k opatrnosti a neštěstí ubývá.
2) Vždy zachraň chodce. Chodci jsou stále bezohlednější, protože se cítí bezpečně. Neštěstí přibývá.

Z krátkodobého hlediska
Pro ostatní účastníky představuje přejetý chodec menší nebezpečí nežli uhýbající, stojící, nabouraný vůz.
Posádka vozu dopraví chodce do nemocnice. Chodec posádku ne.
Zatím co po přejetí chodce zůstává situace vcelku přehledná, při vyhýbání se chodec i ostatní účastníci chovají naprosto nepředvídaně.

Auto chránící posádku si povede lépe i vůči jiným překážkám. Například sněhulákovi, zvířeti, kusu letícího igelitu, nebo papírovému Alzákovi. Falešně pozitivní poplach vede k záchraně posádky na úkor neexistujícího chodce. Pokud by chránilo chodce, bezdůvodně ohrozí posádku.

"Posádka vozu dopraví chodce do nemocnice."

Jako ten řidič co odvezl sraženého kluka do lesa, a tam ho pohodil. Víš kolik procent řidičů prostě nezastaví a rovnou ujede?

Pro me osobne by bylo nejlepsi kdyby si to v takove situaci (seredne to odnese posadka nebo chodec) hodilo kostkou. Nevadilo by mi v tom jezdit tak moc jako kdyz bych vedel, ze to urcite odnesu ja (preference chodcu) nebo chodci (preference posadky).

Chodec lezoucí do dráhy vozu je zralý na Darvina , proto chránit posádku, takové chodce a cyklisty eliminovat je naprosto vpořádku...

Dle mého názoru je to jasné, auto s autopilotem musí jet jen tak rychle aby dokázalo vyhodnocovat jakékoliv možné scénáře a v případě potřeby vždy zastavit a tím se vyhnout kolizi. Předpokládám, že autopilot musí analyzovat široké okolí vozu, včetně chodníků a tedy i možnost vstoupení/pádu chodce do vozovky.
Pokud toto nebudou autoauta umět, nemají dle mého na silnici co dělat. Já bych je nechal jet maximálně padesátkou a až se prokáže, že jsou bezpečná = 0 smrťáků za řekněme 3 roky, postupně bych jim povoloval vyšší rychlost.
asi tak...

Takže na silnici, kolem které vede chodník, se auto zastaví a bude stát, dokud všichni chodci nezmizí? Jako vážně?

Podle me to ale je o necem jinem, nez ze skoci chodec do cesty.

Co tato jiz nekolikrat zminena situace.

Autonomni auto jede ve svem pruhu. na chodniku je chodec. proti se vyriti magor. Auto rozhoduje mezi celni srazkou s rychle jedoucim vozidlem nebo uhybny manerv smerem na chodnik kde jde chodec. V obou pripadech bude poskozena osoba nevinna. Muze za to magor jedouci vysokou rychlosti, ktery vyjel ze sveho pruhu.

Chodec muze jit jen po krajnici, nebyt protijedouciho vozu mimo svuj pruh automat by se chodci vyhnul a nic by se nestalo. Co v teto situaci?

Dle mého názoru autoauto nesmí NIKDY záměrně ohrozit jiného člověka. To by přece bylo porušení zákona robotiky. Navíc co když se pak idiotovi úspěšně vyhne a zabije toho chodce? Jednoznačně to bude vina toho majitele autopilota, to že jel někdo v protisměru nebude relevantní. Jak se posoudí, že zabití chodce odvrátilo situaci která nenastala?
Myslím že autopilot by měl prostě zabrzdit a připadně se snažit uhnout/natočit tak, aby minimalizoval následky.

.

Nejsou. Ale pokud stroj nějakým aktivním krokem zabije člověka, tak to společnost nerozdýchá, zejména pokud dojde k chybě a bude reagovat na neexistující nebezpečí. Stejně tak nerozdýchá, když si stroj bude na základě nějakého algoritmu vybírat, koho zabije. Navíc pro toto rozhodování nemá automobil dost informací a ani mít nemůže a rozhodování o vině případně menší škodě nebude fungovat (napálí to do protijedoucího auta, aby se vyhnul dítěti a v protijedoucím autě zabije tři děti o kterých neví). Jediné společensky přijatelné řešení imho je, že automobil zvolí akci, která neohrozí nikoho, nebo zůstane v pruhu a zkusí to ubrzdit .

"Dokonalou" AI bude vždy posuzovat "nedokonalý" člověk, nebo celky z lidí složené - až po populaci. Je to tedy to samé, jako kdyby měla třeba tlupa šimpanzů nebo psů posuzovat dokonalost rozhodnutí svého ošetřovatele a stanovit, jestli je dost "dokonalý" - v podstatě nemožné. Pokud ale AI nebude dokonalá, nebo bude jenom tak dobrá aby to člověk posoudil, tak zase není o nic lepší, bude dělat chyby a nebude možní ji nasadit.
Druhé hledisko je to, že rozhodnutí, které udělá člověk a dopadnou špatně, tak se prostě nedá nic dělat, je to člověk, dělá chyby a pokud nic fakt neposral, tak je to prostě nehoda nebo osud. Pokud tohle udělá/podělá AI, okamžitě začneš hodnotit její dokonalost - viz. 1. odstavec. Nehledě na to, že převzato z politiky: "Ať uděláš jakékoliv rozhodnut/čin, vždy někoho z oobčanů nasereš . . . " a to platí i pro tozhodování AI.
Proto podle mne mají spíše smysl expertní systémy a vysoce propracované algoritmy řízení, než uplatnění opravdové AI ve společnosti. Ale systém, který má předem definované i miliony rozhodnutí podle daného schématu není AI, jenom dokonalý "automat" a ten smysl má.