Názory k článku
Unicode 15.1 přidává emodži pro hříbek, limetku a kroucení hlavou

KCharSelect, a ma tam full text search. Takze napisu fire a najde mi to vsechny znaky ktere v nazvu nebo popisu maji fire.

Nikdo neříkal že to musí být jedlé víc než jednou.
(nechtělo se mi drbat s těmi modifikátory barev v unicode, je to opruz).

Svou jinakostí hážou vidle do všecho naprosto nepoměrně jejich počtu.
Co je na nich z pohledu programovacího jazyka jiné?

Pokud oficiální stránka není schopná vykreslovat tyhle znaky v nenasíracím čase, pak je něco naprosto fundamentálně špatně.
Nedělal bych takovou tragédii z toho, že Unicode Consorcium neumí udělat rychlý web. Jako mohli si to nechat udělat od někoho, kdo to umí, ale že by to bylo nějak moc důležité…

A na druhou stranu jsou (přinejlepším) úplně k ničemu když jde o praktické programování.
A co se na tom řešilo? Podpora v textech? To snad ne, tam emoji nepřinesly nic nového. Nebo se řešilo jestli se mohou používat jako identifikátory, třeba názvy proměnných? To se řešilo až po přidání emoji do Unicode? Všechny ostatní jazyky už to mají dávno vyřešené – buď definovaly množinu znaků, které jsou použitelné pro identifikátory, a emoji mezi nimi logicky nebyly, protože v té době ještě neexistovaly. Nebo definovaly množinu znaků, které jsou zakázané, a vše ostatní je povolené. A pak zase není důvod emoji nějak speciálně řešit.

Největší průšvih s Unicode byl, když se zjistilo, že 64k nemusí stačit každému. Ty 4 miliardy nám snad už vystačí, alespoň do setkání s nějakou mimozemskou civilizací. Emoji přišlo s barevnými znaky, ale to je problém vykreslovacích knihoven, ne programovacího jazyka.

Jak "z pohledu programovacího jazyka"? Co tím vůbec myslíte?

Ony stačí už ty barvy. Ty nerozdýchá standardní TrueType. Jsou třeba nestandardní rozšíření. A při kreslení kvůli nim buď všechno nasypete do barevných textur, nebo tyhle znaky budete kreslit zvlášť a jinak. Když budete hledat nějaké příklady pro FreeType nebo třeba ImGui, tak dost často najdete kód který má dvě takřka nezávislé verze - podle toho jestli potřebujete emoji nebo ne.

Jsou v nich "ligatury" (myslím ZWJ), které mají po rozbití na části o dost jiný význam. Normální ligatury můžete s klidem odignorovat a bude to jen vypadat trochu divně. A ani to nejsou znaky s modifikátory, jako diakritika. Takže další extra větev v kódu.

Jinak ne, nemáme 4 miliardy. Ani náhodou. utf-8 končí kus nad milionem. Dál jsou lvi a nosní démoni. Předchozí verze sice šly až ke dvěma miliardám, ale podle posledního rfc to nejsou povolené znaky. Jestli někdy budou potřeba, tak to bude zajímavé, protože to spousta softwaru prostě nedá.

Jak "z pohledu programovacího jazyka"? Co tím vůbec myslíte?
Když píšu kód třeba v C++, v Javě, v Pythonu nebo v kterémkoli jiném programovacím jazyce, který umí pracovat s Unicode řetězci. Co se změnilo, když byly do Unicode zavedeny emoji? Bylo potřeba něco změnit v programovacím jazyku jako takovém? Psal jste o zavádění Unicode do C++. Změnili něco emoji na podpoře Unicode v C++?

Ony stačí už ty barvy.
To je ta jediná věc, která se změnila. A to je pouze věc knihovny vykreslující text.

Jsou v nich "ligatury" (myslím ZWJ), které mají po rozbití na části o dost jiný význam.
Byl by konkrétní příklad?

A ani to nejsou znaky s modifikátory, jako diakritika.
V čem se to liší? V čem se liší dvojice U+0061 U+0301 od dvojice U+1F467 U+1F3FB?

Předchozí verze sice šly až ke dvěma miliardám, ale podle posledního rfc to nejsou povolené znaky.
To se přeci mění s verzemi Unicode. S novou verzí se přidají nové znaky, které obsadí pozice na dříve nepovolených znacích.

U+1F467 U+1F3FB je normální znak s modifikátorem, ty se používají samozřejmě taky.
Myslel jsem třeba U+1F469 U+1F3FB U+200D U+1F3EB. To je víc plnotučných znaků, které můžou mít i vlastní modifikátory. Je kapku rozdíl, jestli uvidím obrázek učitelky nebo jako fallback ženský obličej a jakousi budovu. Někomu možná ani nedojde, že to nemají být dva smajlíky vedle sebe.

Tohle samozřejmě musím řešit, pokud od "pracovat s unicode řetězci" chci něco víc než střčit pole bytů do černé skříňky a doufat, že to nějak dá. Dal jsem vám právě příklad dvou knihoven, které obvykle musím použít o dost jinak pokud chci nebo nechci pracovat s emoji.

Tipuju, že ty standardní stránky jsou tak nechutně pomalé právě proto, že nemůžou počítat s tím, že ten text nějaká knihovna na cílovém stroji zvládne spolehlivě vykreslit. Takže jim nezbývá nic jiného než tahat tisíce obrázků se vším co k tomu patří.

Jo, s novýma verzema se obsazují neobsazené díry. Ale horní limit je 1,112,064 možných znaků, ne nějaké miliardy. Jít výš bude z historických důvodů opravdu hodně těžké. Pokud kvůli tomu museli zpětně vykleštit i utf-8, tak pochybuju, že by se tenhle limit dal nějak rozumně prorazit.

Asi vás mate Zero-width joiner U+200D. Což je ovšem „znak“, který byl do Unicode přidán dávno před emoji, kvůli asijským jazykům. Navržen do Unicode byl v roce 2004.

Tipuju, že ty standardní stránky jsou tak nechutně pomalé právě proto, že nemůžou počítat s tím, že ten text nějaká knihovna na cílovém stroji zvládne spolehlivě vykreslit.
Webové stránky nemohou samy o sobě spouštět nativní knihovny. Mohou používat jenom API, které jim poskytuje prohlížeč.

Takže jim nezbývá nic jiného než tahat tisíce obrázků se vším co k tomu patří.
S tím si ale webové technologie umí poradit. Akorát je nutné umět je používat.

Zatím to vypadá, že narážíte na špatné implementace Unicode, které byly špatné odjakživa, akorát jste na to nenarazil, protože se to neprojevovalo u znaků, které jste používal. Emoji přišly akorát s barvami (což je čistě věc vykreslování), jinak používaí vlastnosti Unicode, které byly v Unicode už dávno před emoji.

"Webové stránky nemohou samy o sobě spouštět nativní knihovny. Mohou používat jenom API, které jim poskytuje prohlížeč."

A za tím api prohlížeče se skrývá co? Že by nějaká nativní knihovna?
Když javascript volá třeba funkce WebGL, které +- odpovídají tomu co mají k dispozici i nativní appky je to api prohlížeče nebo knihovny? Je v tom nějaký praktický rozdíl?

Jinak jestli vás ten zero width joiner nemate, tak se na něj podívejte pořádně. On totiž v různých kontextech dělá více či méně různé věci. A to emoji je samozřejmě další kontext, který dělá něco velmi podobného tomu, co ten zwj dělá i jinde. A jinde se zase podobné věci mají dít samy, takže aby to nebylo tak jednoduché, máme i opačný znak non-joiner.

Ano, obvykle narážím na špatné implementace unicode. Z jednoho prostého důvodu. Unicode je tak šíleně komplexní, že je ho skoro nemožné implementovat dobře. Pro složitější práci s unicode textem existuje asi tak jedna jediná použitelná knihovna a moc nehrozí, že by její monopolní postavení něco ohrozilo.
Ale tohle by neměla být omluva pro přidávání další komplexity.

Emoji kromě barev přichází i s jinýma věcma. Třeba s nějakou tou stovkou nových znaků každý rok. Přidává nějaký jazyk každý rok desítky fungl nových složených symbolů? Co pozoruju, tak se to všude jinde snaží spíš zjednodušovat a čistit. Emoji už je tolik, že je občas těžké je od sebe rozeznat. A přibývají další a další.

A za tím api prohlížeče se skrývá co? Že by nějaká nativní knihovna?
Vypadalo to, jako byste si myslel, že si web může přibalit svou vlastní knihovnu pro vykreslování písma.

Jinak pro informaci, webové prohlížeče Unicode znaky vykreslovat umí a nemají s tím žádné problémy.

On totiž v různých kontextech dělá více či méně různé věci.
Na základě znaku, který je před ním a po něm, vytvoří úplně nový znak, definovaný standardem. Co jsou ty další věci, které to podle vás dělá?

A to emoji je samozřejmě další kontext, který dělá něco velmi podobného tomu, co ten zwj dělá i jinde.
V čem je ten kontext emoji jiný?

Ale tohle by neměla být omluva pro přidávání další komplexity.
Pořád jste nenapsal, v čem ta další komplexita spočívá.

Třeba s nějakou tou stovkou nových znaků každý rok.
To, že se do Unicode přidávají nové znaky, není žádná novinka. Pokud s tím nějaká knihovna nepočítá, měla problém dávno před emoji.

Přidává nějaký jazyk každý rok desítky fungl nových složených symbolů?
To je pro programy nebo knihovny nějaká zátěž? Co vám bude vadit dál, že každý den vznikají nové a nové dokumenty ve Wordu?

Co pozoruju, tak se to všude jinde snaží spíš zjednodušovat a čistit.
Kde všude jinde? O jakém jiném kódování znaků píšete?

Emoji už je tolik, že je občas těžké je od sebe rozeznat. A přibývají další a další.
To, že je nedokážete rozeznat, není vlastnost Unicode, ale vlastnost konkrétního písma. Tak použijte jiné písmo, kde budou znaky lépe rozeznatelné. Jak už jsem psal, to, že vy další emoji nechcete, neznamená, že je nechce někdo jiný. A už jsem upozorňoval na to, že kdyby se to posuzovalo podle četnosti použití, možná bychom měli emoji v Unicode dávno před tím, než by se tam dostalo ř.

Chtěl jsem říci, že Unicode sada obsahuje spoustu kravin a zbytečností. A ano, místo 5-6 smajlíků dát 30, přičemž některé vypadají dost podobně, je poněkud kontraproduktivní.

Nemyslím si, že dokážete posoudit, jaké potřeby mají všichni lidé na celém světě. To, že je něco zbytečné pro vás, neznamená, že je to zbytečné pro všechny.

Pojďme se tvářit, že Paretovo pravidlo a zákon mezního užitku neplatí. A že "tohle 'potřebuje' jeden člověk" je argument.

Jak jsem psal výše, pokud začnete uplatňovat pravidlo, že je důležité, jak často se ten který znak používá, skončíte možná s tím, že emoji v Unicode zůstanou, a odstraní se z něj třeba „ř“.

Ano, protože primárním účelem znakové sady Unicode není umožnit vyjádřit všechny znaky používané v živých jazycích milióny lidí. Já vím, že si nemůžeš pomoct a na všechno musíš mít názor a poslední slovo, ale kousek sebereflexe by fakt bodnul.

Emoji nejsou znaky používané v živých jazycích milióny lidí?

Emoji nie su znaky ale piktogramy ktore oznacuju slovo alebo skupinu slov.

Znaky su grafemy oznacujuce hlasku alebo slabiku.

Znaky su aj logogramy (nemylit si s piktogrammi) ktore oznacuju slovo. Ale paralelne k logogramom sa spravidla pouzivaju grafemy, aby sa bezny pisatelia neukreslili k sialenstvu. Napr egyptske pismo (logogramy) vzdy sprevadzalo hieraticke alebo demoticke pismo, kanji sprevadza katakana alebo hiragana a tak podobne...

Co sa tyka pouzivania v zivom jazyku. V hovorenom slove nikdy. V pisanom prejave zalezi na slovnej zasobe jedinca (cim vacsie pako, tym viac piktogramov)

de: Jasně, takže vyhodíme z Unicode mezeru, interpunkci, číslice, matematické symboly, symboly měn. A pak budeme muset omezit i zápis některých jazyků.

Co to zase meliete, nepodsuvajte mi slova, ktore som nenapisal a ktore ani nie je mozne odvodit z toho co som napisal ak len clovek aspom tusi co je interpunkcia zmanena vo vztahu ku konkretnemu jazyku, alebo len matne tusi ze matematika je najpouzivanejsi jazyk na svete...

Vas evidentne bavi presviecat okolie ze na rozdiel od vas su vsetci blazni. No nic kaslem na vas, idem radsej sulozit. A ked si pomyslim ze vasa predohra je podobna tomu co ste schopny tu v komentaroch, tak vam asi jediny partner ostane len vy sam. Tak prijemny vecer kazdemu podla jeho schopnosti a noznosti ;)

Psal jste, že znaky označují hlásku nebo slabiku, pak jste připustil, že mohou jako logogram označovat i celé slovo. Tak co takový středník – označuje hlásku, slabiku, je to logogram? A co 5 – je to hláska, slabika, logogram? A co hůř, ono to vaše tvrzení neplatí ani o písmenech. Označuje „t“ v angličtině nějakou hlásku nebo slabiku? Nebo je to snad logogram? A co takové „c“ v češtině? Hláska, že? I ve slově „chobot“?

Vas evidentne bavi presviecat okolie ze na rozdiel od vas su vsetci blazni.
Co to zase meliete, nepodsuvajte mi slova, ktore som nenapisal a ktore ani nie je mozne odvodit z toho co som napisal.

Jak už jsem psal, nemyslím si a nikdy jsem netvrdil, že jsou všichni ostatní blázni. Většina lidí je normálních. Ale např. tady v diskusích na Rootu se občas nějací blázni vyskytnou. Napíšou třeba nějaké tvrzení o znacích a pak se hrozně diví, když jim ho rozbiju triviálním protipříkladem.

Z pohladu jazykovedy je znak cokolvek co oznacuje hlasku, slabiku, slovo a samozrejme aj diakritika ktore su viazane na konkretny jazyk. Ch je digraf. Napr. japonstina a cinstina maju mnoho spolocnych znakov, ale nie len ze rovnako nezneju ale v konkretnom jazyku maju uplne iny vyznam. Podoba znaku nijako nemusi suvisiet s jeho vyznamom, ktory je zavysi od jazyka v ktorom sa znak pouzije.

Naproti tomu piktogram, vratane emoji, nie je viazany na ziadny jazyk. Podoba piktogramu vzdy znazornuje jeho vyznam, ktory je nezavysli od akehokolvek jazyka.

Skoda ze nepremyslate nad prispevkami na ktore odpovedate. Mozno by ste si uvedomil ze drviva vacsina diskutujucich s vami nesuhlasi a vase jednoduche argumenty vyvracia...

K 5. 5 je jedno slovo, ake je to konkretne slovo zavisi od konkretneho jazyka (pät, pět, five, etc). To ze v kazdom jazyku ma rovnaky vyznam, je tym ze je viazane na matematiku. Akym sposobom vam to nezapada pod znak a do toho co som pisal?

Škoda že vy nepřemýšlíte ani nad příspěvkem, na který odpovídáte, ani nad příspěvkem, který sám píšete.

Znovu jste napsal definici znaku, kterou nesplňují ani interpunkční znaménka, třeba středník. Takže buď musíte interpunkční znaménka vyhodit z Unicode, nebo musíte pro Unicode použít jinou definici znaku, než tu vaši. (A pořád platí, že tu vaši definici nesplňuje spousta dalších znaků.)

Mezi smajlíkem a znakem „5“ je jenom ten rozdíl, že význam smajlíku typicky bude popsán více slovy, zatímco číslice bude typicky popsána jedním slovem. Ale nedokážu vyloučit, že třeba v němčině nemají pro některé smajlíky jedno slovo a že některé jazyky nemají třeba pro 9 více slov (třeba něco jako „pět-a-čtyři“).

Takže přestaňte filozofovat nad tím, nad čím přemýšlím a kdo se mnou nesouhlasí, a soustřeďte se na tu jednu věc, kterou vám teď už píšu potřetí – na středník. Zamyslete se nad tím, jestli středník (tedy znak ;) podle vás je znak nebo není, a pokud je, tak kterou část vaší definice splňuje.

Podla vas nie je interpunkcia viazana na konkretny jazyk? Doplnte si vzdelanie, ucte sa aj ine jazyky ako cestinu, alebo latincinu skomolenu tak aby ju davali aj piktovia.

Ked uz ste tak silno chcel argumentovat tymto smerom, tak je dost na povazenie ze na dosah vaseho IA je prave interpunkcia, su tam aj ramiky, jednoduche, dvojite a kombinacie. Lenze tie tam musia byt aj ked nie su viazane na konkretny jazyk, inak by unicode nebolo spatne kompatibilne.

Piktogramy nie su jazykovo zavisle. Naviac nemaju na rozdiel od piktogramu nejak presnejsie definovany tvar. Zoberte si na porovnanie variabilitu piktogramu na WC a variabilitu velkeho latinskeho A.

23. 9. 2023, 08:21 editováno autorem komentáře

Ta otázka byla hodně jednoduchá: "Je (v češtině nebo slovenštině) středník hláška, slabika nebo slovo?" Když na tuhle jednoduchou otázku neumíte odpovědět, nasvědčuje to tomu, že se ve svých tvrzeních mýlíte. Tak to přiznejte. Nebo napište, že odpovědět neumíte. Nebo mlčte. Ale je dětinské snažit se to "zakrýt" tím, že mi podsouváte něco, co jsem nikdy nenapsal. Je hloupé někomu doporučovat, ať si doplní vzdělání, když nedokážete odpovědět na otázku, co je v češtině středník.

Odpovedal som na to niekolko krat, je to interpunkcne znamienko a jeho pouzitie je zavisle na konkretnom jazyku. Dokonca aj v komente na ktory odpovedate. S vami je fakt zbytocne stracat cas.

Na otázku: „Je to A, B nebo C?“ se neodpovídá „Je to D“ (bez dalšího upřesnění, že jste opravdu nevybral žádnou z nabízených variant). Ale dobře, beru to tak, že jste chtěl odpovědět, že středník není ani hláska, ani slabika, ani slovo. Tím pádem nesplňuje vaši definici znaku. Zároveň jste v předchozích komentářích mířil k tomu (i když jste to nikdy explicitně nenapsal, ale založil jste na tom celou svou další argumentaci), že v Unicode by měly být jenom znaky. Takže z vašich tvrzení plyne, že by v Unicode neměl být ani středník.

Co s tím? Napadají mne následující možnosti:

1. Podle vás v Unicode nemá být ani středník a měl by se z Unicode odstranit.
2. Vaše definice znaku je špatná, protože středník je znak, i když vaši definici nesplňuje.
3. Je špatný váš požadavek na Unicode, aby obsahovalo jen znaky – takže středník v Unicode má být, i když to není znak (podle vaší definice).

Mělo by se třeba sprívně psát cunami namísto tsunami...

Zajímalo by mne, kolik čtenářů roota by pochopilo: 絵文字. ;oD
Ale já (v mládí) chodil do džudistického oddílu a tak to bylo i na sportovní průkazce. Jó, když je to Mistrovství světa, tak to musí být světový: v judu. ;o)

Pritom original japonsky su dlhe "u"+"o" -> Džúdó (柔道 【じゅうどう】)

Jenže to narážíte na přepis z japonštiny do češtiny, což zdejší japanologové ukotvili zhruba v době, kdy se ustálil i přepis z japonštiny do angličtiny.
(Mimochodem: s čínštinou to bylo obdobné, ale českým sinologům se to povedlo lépe - vzhledem k tomu, že máme oproti angličtině pár písmenek k použití navíc.)
Ty přepisy zkratkou přes angličtinu prostě občas co české huby nepadnou a českému oku nelahodí.

To je vlastnost hlavně veliikosti toho písma.

Máte třeba nějaký font, kde by se daly rozeznat ‍ a ? Od ‍ to taky není zrovna moc poznat.

No a tady to máte. V editačním okně ty smajlíky normálně byly. Jak chcete udělat cokoliv víc, než ty znaky jenom zobrazit, tak si můžete být skoro jistý že se někde něco podělá.

Zjistil jsem ze kdyz napisu zpravicku a odeslu, tak emodzi nejsou. Ale kdyz dam upravit, a vlozim tam uplne stejny text jako predtim, tak uz tam zustanou.

Databáze Rootu používá kódování ISO-Latin2. To fakt není problém Unicode…

"Databáze Rootu používá kódování ISO-Latin2."
Jak je v ISO-Latin2 kodované tohle?:

🀒🀛☔☣♑🌝🌙🌠🧱🩳🪆䷚ℛ­⅛⅜⟺⟴⤮🛳🙼🙬⌇⌓⌣⌚🕐🐕🌹🌈🌋🁗🁇🨸🨍⠷🜨🜚­🜛⁘⁙⇋ʨɸ˧ᴨﬖ

19. 9. 2023, 14:54 editováno autorem komentáře

Tak se to asi v poslední době změnilo. Ještě nedávno bylo nutné znaky mimo ISO Latin-2 (nebo Windows-1250, nezkoumal jsem to zas tak detailně) vkládat pomocí HTML entit.

HTML entity nejsou potřeba od doby, kdy se přešlo na Unicode/UTF. Takže entity byly (teoreticky) potřeba v HTML 4, od XHTML už potřeba nejsou. Prohlížečům adopce taky chvíli trvala.

Je dobré vědět, co tu pro některé znamená "nedávno".

Je dobré vědět, co tu pro některé znamená "nedávno".
Je dobré vědět, že někteří nejsou schopní udržet kontext diskuse dva komentáře zpět. Bavíme se tu totiž o Rootu, resp. redakčním systému IInfo.

Písmo je to, jak znaky vypadají. Tvary znaků pak mohou být v nějakém formátu uložené v různých souborech. Přičemž není nutné, aby jeden soubor obsahoval všechny znaky – písmo může být rozděleno do více souborů a třeba na webu se stáhnou jen ty soubory, které jsou potřeba.