Vlákno názorů k článku Measy U4K: když Android přepočítává video do 4K od jan - Zarizeni slouzi k tahani penez z kapes zakazniku....

Zarizeni slouzi k tahani penez z kapes zakazniku. Kvalita muze byt prinejlepsim pouze stejna, pokud je rozliseni cile celociselnym nasobkem zdrojoveho rozliseni. Prepocet stezi ziska data, ktera ve zdroji nejsou. Mohou zkusit doostreni, ci naopak rozostreni, ale co neni ve zdroji, neni odkud vzit. Je to stejna past na zakazniky, jako interpolovane rozliseni skeneru az 16000 DPI (nehodi se k nicemu). Zkuste si podobne vylepsit staticky obrazek.

Přepočet je možný, ale je tam hodně omezení.

Když vyjdeme z předpokladu, že j použítá 2D DCT transformace, tak se jasová informace pro každou barvu vese po součtu kosinusovek. Stačí rozdělit obraaz na oblasti a nevykreslovat s krokem 1 (nativní rozlišení), ale s jiným. Takže v principu brnkačka.

Omezení je velikost oblasti - čím větší, tím přesnější je funkce pro jas složky v závislosti na souřadnicích, ale větší spotřeba paměti a výpočetního výkonu.

Přesnost u okraje oblasti se zhoršuje (není návaznost na další část obrazu), ale zase je možnost vykreslit třeba 50% oblasti a nechat ty oblasti překrývat. Ve výsledku to ale potřebuje cca dvojnásobek výpočtů...

A pak jde zohlednit i šikmý čáry, nejenom po osách, ale zase roste množství matematiky...

Ale ve výsledku se člověk stejně dopracuje k tomu, že tam nejsou detaily. Jeden pixel je ve skutečnosti třeba 1/16 rozpitýho pixelu z původního obrazu. Hodně je to vidět třeba na hraně černá/bílá v nějakým šíleným směru. Ostrý přechod tam nikdy nebude, vždycky se dopočítá gradient... Otázka je, jak strmý.

Opatrně. Za prvé, hodně věcí jde. Za druhé, ve zdroji může být spousta informace, která pouze není dostupná.

http://research.microsoft.com/en-us/um/people/kopf/pixelart/
(Je to něco trochu jiného, ale na demonstraci pravdivosti tvrzení, že "co není ve zdroji, není odkud vzít", to myslím funguje dobře.)

NE!

"funguje dobre" je velmi subjektivni popis. Fakt, tvrdy a naprosto nemenny fakt je, ze informace ktera v obrazku obsazena NENI, nemuze byt "zrekonstruovana". Vsechno co podobne algoritmy delaji, je lepsi ci horsi "uhlazovani" ctverecku a urcitou formu segmentace obrazu podle barvy. Vysledek v NEKTERYCH pripadech muze vypadat dobre, nebo zajimave, ale NIKDY nebude vypadat tak jak by vypadal, pokud by byl porizen ve vyssim rozliseni.

Tj. Vase tvrzeni, ze: "ve zdroji muze byt spousta informace, ktera pouze neni dostupna" proste a jednoduse neni a nemuze byt pravda. Informacni teorie. Tecka.

To ze si nejaky algoritmus POKUSI domyslet nejakou informaci, kterou NEMA, je neco jineho. Pokud by napr. tim "algoritmem" byly tisice cinanu s tisicem photoshopu, kteri by temer v real-time "domalovavali" vetsi rozliseni - pak by vysledek mohl budit zdani, ze se opravdu magicky objevuje nova informace, ale neni tomu tak - tato "nova" informace by byla pouze zkusenost onech cinanu s tim, jak ruzne veci ve skutecnosti vypadaji, a klidne pak mohou z 3px "fleku", predstavujiciho zasuvku ve zdi udelat kompletni zasuvku se vsemi otvory a kolikem - tato informace ale NENI a NEBYLA obsazena v puvodnim obrazku.

Takze ano, JE mozne NEKTERE casti bitmapy zvetsit s tim, ze se ve vysledku objevi informace, ktere proste puvodni bitmapa neobsahovala, ale vzdy pujde o "domyslene/vy­myslene" informace, ktere NIKDY NEBYLY obsazene v puvodni bitmape, ale bude se jednat o informace o "vzhledu objektu" obsazene ve "zvetsovacim algoritmu".

A i nejdokonalejsi "zvetsovaci algoritmus" (mnoho cinanu s photoshopem) NIKDY nemuze rekonstruovat napr. SPZ auta, malou fotografii nekde v koute zaberu, atd, atd.

Kouknete se napriklad v tom microsoftim seznamu obrazku:

http://research.microsoft.com/en-us/um/people/kopf/pixelart/supplementary/multi_comparison.html

velmi chytre vybrali objekty, ktere jsou vesmes "organicke", a kterym "zakulaceni" prilis neuskodi. Ovsem i tam je par prikladu, kde je krasne videt, ze i ten jejich uzasny algoritmus nevi co vlastne zvetsuje. Napr. dole ten mec - z mece, ktery by jasne mel byt spicaty to udela podivnou placacku na mouchy, pripadne truhla, ktera v pixelove variante vypada asi lepe, nez po "zlepsenem zvetseni", kdy vypada, jako by byla nafukovaci.

Takze jeste jednou, NEJDE TO.

Vysledek vektorizace toho pixelartu je pekny. Ovsem podobne "domysleni" neexistujicich udaju je u fotografii a videa cesta do pekel. Ziskame tim udaje, ktere ve zdroji skutecne nejsou pritomny. Cil bude nachylny na chyby typu opticky klam, slevani objektu a tvorbu fragmentu, ktere ve skutecnosti nebyly propojene. Pixelart si vybrali, protoze se sklada z ostrych, jednoznacne barevne ohranicenych primitivnich objektu. Jasny obrazek odrazu vraha z oka obeti jako v Twin Peaks tim na neostrem videu ci fotce opravdu neziskame. Nedokonale oko a mozek tu vektorizaci vlastne dela samo. Viz rozctvereckovana tvar vraha ve zpravach - staci se podivat bez bryli, nebo na odraz obrazu a oko ze ctverecku slozi rozmazanou podobu. Na splyvani tvaru pri vnimani je vlastne postaveny i pixelart.

Ziskani udaju ze zdroje, jez tam skutecne jsou, ale nejsou bezne k dispozici, je zcela jina vec. U fotografie to muze byt vicenasobne vyvolani RAW formatu s jinou expozici pro ziskani vysoce kontrastniho obrazu HDR. U videa nejsou takove udaje kvuli postprodukci a kompresi pravdepodobne jiz k dispozici.

Neříkejte, že něco nejde. Nikdy nevíte, kdy se najde nějaký blbec, co neví, že to nejde, a udělá to.

Co se tohohole dokreslování týká, tak tam je trochu metodický zádrhel - člověk to dokreslit umí. Lidský mozek chybějící informaci umí doplnit. Dělá to často špatně (přečte mizerně viditelnou číslici 3 jako 8 apod.), ale dělá to. Počítače to dříve nebo později budou umět také. Nejspíše stejně špatně.

Viz váš příklad s SPZ - počítač dojde k závěru, že je tam SPZ ve formátu AAA-00 a tak vám tam nakreslí třeba "KLF-17". Co na tom, že se netrefí, špatná SPZ tahá za oči méně než kostičky. V drtivé většině případů je to beztak jedno, nikdo tu SPZ nečte. Když to udělá s čísly na dresech hráčů fotbalu, tak to už problém bude.

Na zvyšování rozlišení obrazu existuje řada programů. Kupříkladu fotky vesmíru jsou dokonalý příklad toho, že máme třebas 20 fotek v rozlišení 20x20 pixelů a my z toho uděláme fotku 2000x2000 pixelů ve 24 bitových barvách. Někdo jen musel rozhodnout, co na fotce je (spirální galaxie), pak se musela odhadnout pozice objektu (kde je, jak je natočená), detaily (počet, délka a vzájemná pozice ramen), nějak určit barvy (opět odhadem) a pak nechat vypočítat obrázek spirální galaxie, který AI vyhodnotí jako nejpravděpodob­nějšího kandidáta na "jo, tohle jsme asi fotili".

Podobně fungují programy na slepování videa do jednoho snímku s vysokým rozlišením. Třebas právě pro zjištění SPZ z videa s nízkým rozlišením. Typne se, jaká je, a pak se nechá AI rozhodnout, zda by zrovna tahle SPZ na tom videu vypadala takhle. Zkusí se jich více a ta, co pak tomu sedne nejvíce, se vezme jako správná a do obrázku se normálně vyrenderuje tak, že překryje původní pixely, ve vyšším rozlišení.

Sorry, mýlíte se: "informace ktera v obrazku obsazena NENI, nemuze byt zrekonstruovana" není fakt, ale názor, a to ještě k tomu chybný. Například mohu ke zlepšení rozlišení snímku použít dat ze snímků okolních. V tom rekonstruovaném snímku ta informace není, ale po okolních snímcích rozprostřena je a rekonstruovat se dá.

To, že "NIKDY nebude vypadat tak jak by vypadal, pokud by byl porizen ve vyssim rozliseni¨, nikdo nerozporuje. Ale pokud obrázek ve vyšším rozlišení pořízen *nebyl*, tak je fakt celkem k ničemu spekulovat, jaký by byl, kdyby byl poříze v lepším rozlišení. Ale může mít smysl zabývat se tím, jak rozlišení co nejvíce zlepšit při zachování fukčních/este­tických/whate­ver kvalit toho obrázku, který k dispozici máme.

"A i nejdokonalejsi "zvetsovaci algoritmus" (mnoho cinanu s photoshopem) NIKDY nemuze rekonstruovat napr. SPZ auta, malou fotografii nekde v koute zaberu, atd, atd." Samozřejmě že ne tak, jak je to vidět ve filmech, ale třeba tu SPZ jsem si dost jistý, že udělat dokážeme. Možná ne teď ze statických fotek, ale až se místo fotky udělá minivideo o deseti snímcích (se stejným rozlišením, jako má teď statický obrázek), tak bychom se mohli divit. "Nikdy" je nebezpečné slovo, řekněte to těm, co naprosto logicky tvrdili, že objekty těžší než vzduch nemohou létat.

V tom Microsoftím seznamu obrázků jsou samozřejmě objekty, které dopadly lépe, i objekty, které dopadly hůře. Ale také je tam například video, kde jsou přepočítaná a nepřepočítaná verze vedle sebe, a třeba já osobně nemám nejmenší pochybnosti o tom, která se mi líbí více.

Jestli si myslite, ze zrekonstruujete SPZ ze ctverecku 3x7px, at uz budete mit snimku kolik chcete, tak se vsadim o cokoliv, ze to nikdy, nikdo nedokaze. Ano, rikam NIKDY.

Co se polemice o "NIKDY" a vytahovani informace, ktera tam neni (sic) tyce - pokud se bavime o vytazeni informace z 20 snimku a slozeni do jednoho, tak prece nemuzeme mluvit o ziskani informace, ktera tam neni.

BTW, co se rekonstrukce zasumenych a rozostrenych textu tyce, tak VIM ze jde delat opravdu zajimave veci a rekonstruovat veci, ktere vypadaji ze rekonstruovat nejdou - ale VZDY tam musi byt pritomna nejaka dalsi informace - bud informace o charakteru rozostreni, vetsi mnozstvi snimku, atd, atd.

Aby bylo jasno - ja NETVRDIM, ze nelze "subjektivne" "udelat hezci" zvetsene video - to samozrejme jde a dela to napr. i DOSBox (lze zvolit z asi 10 algoritmu) - tvrdim, ze neni mozne z nej zrekonstruovat to, co by bylo videt kdyby se video rovnou poridilo ve vyssim rozliseni - a to proste obecne NEJDE. Ano, jsou specialni (!) pripady, kdy je mozne z videa (ne z 1 snimku!) ziskat dost informaci pro zaostreni, vylepseni hran, apod. ale neni to univerzalni. z videa s rozlisenim 320x240 muzete udelat HD, 4K, nebo libovolne vyssi rozliseni, ale i pokud pouzijete inteligenci stejnou nebo vyssi nez ma clovek, nektere objekty zrekonstruuje uplne spatne, protoze z nizkeho rozliseni bude mit na vyber z vetsiho mnozstvi variant - tj. z "3" muze udelat "8", "3", "5" nebo "B", z 7px obliceje Brada Pitta udela Milose Zemana... tj. informaci z nej NEZISKA, ale VYGENERUJE novou.

Jinak co se toho jak to "funguje" nebo ne tyce - pocit "ze to funguje" vznika pouze tehdy, kdyz se zvetsuje video s jiz tak vysokym rozlisenim (tj. treba to HD na 4K) - pokud by se zvetsovalo nejake smesne rozliseni, napr. 176x144 na 4K, tak pak si NIKDO nebude myslet ze "to funguje".

Velice jednoduchy dukaz toho, ze NELZE ziskat vyssi rozliseni ktere by obsahovalo nejake nove informace je prosta indukce - pokud budu mit rozliseni M x N a dokazu ho "upscalovat" na 2*M x 2*N, zcela jiste muzu rozliseni M/2 x N/2 "upscalovat" na M x N, ze? A tedy M/4 x N/4 na M/2 x M/2. Atd, atd - az se dostaneme k tomu, ze rozliseni 1x1 muzu upscalovat na 4K (a samozrejme i vyse).
Toto mi vyvratte a snim svuj klobouk :).