Někteří uživatelé dávají přednost novému AI vyhledávání před klasickým vyhledáváním. Minulý týden publikovaná studie amerického časopisu Columbia Journalism Review, určeného hlavně profesionálním žurnalistům, zkoumala osm AI vyhledávačů: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2 Search, Grok 3 Search a Gemini.
Postup byl následující: od každého vydavatele bylo náhodně vybráno 10 článků, vyhledávači byla dána ručně vybraná citace článku a byl požádán, aby zjistil název článku, vydavatele a URL článku. Dohromady bylo dotazováno 200 článků. Výsledky nejsou dobré, ve více jak 60 % případů byl alespoň jeden z údajů nesprávný. Nejlépe si v tomto vedla Perplexity s 37 % chybných odpovědí a nejhůře Grok 3 s 94 % chybných odpovědí.
Navíc se projevil známý fakt, že AI nerado přiznává, že neví. Místo toho si raději vymýšlí. Gemini v 64 % a Grok v 59 % případů vytvořilo URL, které neexistuje (chyba 404). K tomu placená verze Perplexity Pro a placená verze Grok 3 měly více chybných odpovědí než jejich neplacené verze. Placené verze méně často přiznávaly, že si nejsou jisté, nebo že neví.
Zajímavé také je zjištění, že AI vyhledávače nerespektují robots.txt. Nejvíce Perplexity a pak ChatGPT. Například Perplexity je explicitně zakázán u National Geographic a články jsou navíc za pay-wallem. I tak Perplexity správně určilo všech 10 článků tohoto vydavatele.
Sympatické je, že data výzkumu jsou dostupná na GitHubu.
(zdroj: arstechnica)
