Vlákno názorů k článku Chceme nediskriminující umělou inteligenci, ale sami to neumíme od Jan - Jak psal MartinX, AI je skutecne diskriminace. Pokud...

Skuste AI nasadit na vypocet ponuknutej vyplaty. Napr.: Dvaja 35 r.kandidati, muz a zena. Obaja maju tu istu vysku s rovnakym vysledkom. Obaja potom pracovali v rovnakej firme na rovnakej pozicii (mozno su aj manzelia). Kym chlap ma 10 rokov praxe v odbore, zenna len 5, lebo bola poslednych 5 rokov na materskej v dvomi detmi a do prace sa vratila pred menej ako polrokom. Vyhodnoti pre nich AI rovnaku politicky korektnu vyplatu? Bude rozhodnutie tej AI spravodlive z hladiska zamestnavatela, ktorh chce vyssim platom odmenovat skusenejsich zamestnancov? (resp.z hladiska muza, ktory ma 2x viac praxe?) Je treba upravit AI na politicky korektne alebo riesit, ze ci ma byt normalne, aby aj muzi chodili castejsie na matersku (a tam mimo ineho vyrovnali tuto statistiku)? A bude stale politicky korektne, ak budeme hlasat, ze o polrocne dieta sa otec postara rovnako dobre ako matka a male dieta potrebuje otca rovnako, ako matku? (cize napr. aj pri rozvode by malo 50% deti koncit u otca)

Riesime problem rovnosti a politickej korektnosti v jednej oblasti zivota ale odmietame priznat potrebu riesit obdobnu nerovnovahu v inej oblasti (alebo priznat, ze ista miera nerovnovahy je vo vsetkych obalstiach v poriadku).

Dalsim aspektom je, ze bez ohladu na doporucenie AI bude mat v mojom teame vacsiu sancu biely rocker nez hispanec s dredmi. Nic proti hispancovy nemam, naozaj. Do teamu si ale budem hladat cloveka s ktorym si budem co najlepsie rozumiet aj po ludskej a kulturalnej stranke, aby sa mi s nim co najefektivnejsie spolupracovalo. (Pokial prave nepotrebujem tu diverzitu.)

Co vím, tak asi první malér s "diskriminujícím AI" nebyl zde zmíněný Amazon, ale právě nějaké hodnocení úvěrů a tam se právě stalo přesně to, na co se naráží. Totiž vznik "diskriminace menšiny" na základě nepřímých dat, barva pleti atd v kritériích nebyla, tomu se v dnešní době vyhýbá každý sám od sebe. Jenže se ukázalo, že "chytrá učící se AI" na podobné věci přijde celkem spolehlivě sama...

No a tady jsme v bodě, který podle mne nemá řešení... Omezovat vstupní data ještě více už moc nejde, tím se likviduje celý přínos této technologie. Nařizovat doplňková kritéria je problém u "opravdové AI", kde vlastně nevíme, podle čeho přesně rozhoduje a algoritmus se vyvíjí - snaha o vylepšení může vést k dalšímu učení a obcházení.
Přišlo by mi asi tak nejsmysluplnější nechat jet AI naplno a její výstupy pak pustit do "jednodušší AI (či dokonce prostého programu), který udělá kontrolu na "politicky citlivé klienty se špatným skóre" a pokud procento poleze nahoru, tak proces stopne a vyžádá si manuální kontrolu. Jen je tu otevřená otázka, co se stane v případě, že to procento bude tak vysoké, že se proces fakticky sesype :-(

Souhlasím až na poslední odstavec. Proč by se měl přechroupávat výsledek z AI a manuálně vylepšovat skóre "politicky citlivých klientů"? To už máme teď i bez AI a "politicky necitlivá většina" na to začíná doplácet. Jak finančně, tak úrovní vzdělávacího procesu, nebo omezováním svobod.

vznik "diskriminace menšiny"

Nikde se tomu algoritmu barva pleti nezadávala, proto nešlo o diskriminaci afroameričanů, ale o diskriminaci lidí bydlících v Bronxu. Proč je nefér snižovat něčí šanci získat hypotéku kvůli tomu, že bydlí v ghetu? A pokud skutečně není fér zohlednit místo bydliště při žádosti o hypotéku, neměli bychom ani zvyšovat šanci získat hypotéku Pražákům, a tudíž by ta adresa měla zmizet ze seznamu vstupních dat. (Ve skutečnosti jediný důvod, proč dát adresu do vstupních dat je právě toto.)

Nebo když to řeknu jinak:
To, že afroameričani častěji bydlí v ghetech, a lidé z ghet jsou horší ve splácení hypoték sice znamená, že afroameričan bude mít menší šanci dostat hypotéku, ale postiženi touto "diskriminací" budou pouze afroameričané bydlící v ghetech.

No ale z hlediska ryze ekonomického to je naprosto správně - pokud se černoch posune do "lepší čtvrti", tak je daleko větší pravděpodobnost, že patří k těm úspěšným a není důvod ho znevýhodňovat, zrovna tak ale naopak u bělocha žijícího v problémové čtvrti je také pravděpodobnější, že bude "loser".
Pokud se AI naučí rozhodovat takto, tak má prostě ekonomicky pravdu a banka přidělující úvěry podle ní bude daleko méně riziková a nejspíš i ziskovější...

Celá debata je o tom, že v dnešní době se takto striktní pohled bere za nevhodný a tak výsledky AI nevyhovují a řeší se, jak je "znásilnit"...

Z hlediska ryze ekonomického a krátkodobého to možná je správně. Problém není v tom, že by to byl striktní pohled, problém je v tom, že je krátkozraký.

Já to v předchozím příspěvku nechtěl úplně hodnotit, snažím se jen popsat stav...
Jestli to je krátkozraké nebo ne záleží na konkrétní úloze, která se řeší a taky kdo to řeší (asi by měla dost jinak chodit AI hypobanky a jinak státu) - někde bych i s krátkozrakostí souhlasil, ale v jiných případech (třeba zrovna u úvěrů) si myslím, že striktnější postup je nejspíš správný i dlouhodobě.

Rozvoj sociálně vyloučených lokalit není problém soukromé firmy.
O to se má starat stát.
Pokud stát chce, abych zvýhodňoval méně schopné uchazeče, nebo problémovější skupinu žadatelů o hypotéky, kterým bych kvůli jejich vzdělání a místu pobytu práci nebo hypotéku nedal, tak ať mi za to zaplatí.
A nezapomínejme na to, že je velice rasistické, když Google nabízí internshipy ve Švýcarsku místo aby si svou pobočku postavil v Kongu a nabízel internshipy tam.

Úkolem banky je generovat zisk, ne na dávat půjčky lidem, kteří je nejspíš nesplatí.

@Tomas Hruby:
Přesně to jsem tím chtěl říct.

Jan Hrach: Umělá inteligence se rozhoduje na základě údajů, které jí poskytneme – neřekne si o další data, protože podle všeobecného poznání by také mohla mít vliv (ta současná AI – skutečná AI by to umět měla). Hlavní problém popsaný v článku je ale v tom, že ta umělá inteligence zpravidla nevyhodnocuje podle našeho skutečného cíle, ale podle toho, jak to vyhodnocovali dříve lidé. Takže nerozhoduje podle toho, kdo bude nejlepší zaměstnanec na dané pozici, ale podle toho, koho by jako nejlepšího asi vybrali personalisté. No a pokud personalisté vybírají podle pohlaví, bude to dělat i umělá inteligence.
Nedávat něco do modelu nestačí – jak je psáno v článku, pohlaví odhadne umělá inteligence třeba podle jména nebo podle školy, rasu odhadne podle bydliště.

Pak je samozřejmě ještě druhá úroveň toho rozhodování. Všichni víme, že křestní jméno zvolené rodiči nemůže mít přímo vliv na zaměstnání. Ale je klidně možné, že může způsobovat nějaké předsudky, které se projeví např. ve škole, dotyčný bude mít horší vzdělání – a to bude mít vliv na zaměstnání. Dovedu si představit, že něco takového mohlo po 2. světové válce fungovat se jménem Adolf. V jiných případech to tak funguje a má to významný vliv – pohlaví, rasa, etnická příslušnost… Z hlediska jedné firmy, krátkodobého pohledu a co nejrychlejšího rozhodování pak samozřejmě dává smysl přijmout člověka, který má vystudovanou školu konkrétního typu. Jenže většina absolventů takového oboru budou třeba muži – takže i ta firma bude přijímat víc mužů. Tím se ale jenom potvrzuje ten stereotyp, a spousta žen, které by jinak byly lepší než muži na té škole, se pro tu školu nerozhodnou. Takže jako společnost na tom tratíme, protože na té škole bude studovat nezanedbatelné množství lidí, kteří jsou pro daný obor horší, ale budou tam proto, že jsou muži. (V některých oborech je to i opačně, ale tenhle případ je častější.) Stereotypy často mají pozitivní zpětnou vazbu, a pak pro narovnání prostředí nestačí jenom srovnat podmínky, ale je potřeba aktivně proti těm stereotypům působit.

Tohle je ale podle mého názoru mylný pohled. Pokud dojde skutečně na systémy, kde lze mluvit o učícím se AI, tak se postupem času mohou od prvotního stavu dost odchýlit - učit se. Podobně jako personalisté bude možná vybírat na začátku, ale postupem času se může posunout hodně jinam (a také se to děje).
Pokud by se software jen tupě držel vzoru, tak to není AI - její podstata je právě v té možnosti učení a postupné změny...

To mimochodem nemusí vůbec znamenat diskriminaci, v extrémním (leč zcela možném) případě, kdy by šéf HR byl vyložený rasista a takto ovlivňoval své podřízené se velmi reálně může stát, že AI naopak začne procento přijímaných "barevných" zvyšovat, proto nenajde reálné negativní korelace a tak se od svého vzoru odchýlí.

Problém je ale v tom, že realita je obvykle spíš opačná a při nemilosrdném vyhodnocení kritérií bude naopak AI "rasističtější" než lidé a z toho jsou idealisté totálně v depresi...

To, že se ti nelíbí jak rozhodují současní HR, není argument proti machine learningu, ale proti HR.