Vlákno názorů k článku Ruby a unicode: co přinese chystané Ruby 1.9? od LO - Jsem jediný, komu se zdá, že držet string...

Jsem jediný, komu se zdá, že držet string s informací o kódování je zbytečně složité? Nebylo by lepší pracovat interně v Unicode (kódování dle preferencí autora), a vše do něj převádět?

Japonci nemaju radi Unicode a specialne UTF-8. Stringy v UTF-8/16/32 zaberaju viac pamate ako Shift-JIS & co., takze sa im ani necudujem.

Má to ale dnes ještě reálný význam, nebo je to bezvýznamná optimalizace? Dá se u (J)Ruby aplikace předpokládat, že bude šetřit každý bajtík?

Japonci nemají rádi Shift-JIS & co., protože uprostřed streamu ani nepoznáte, jestli jste na začátku znaku, nebo ne. Takže 'A' může být prosté A, nebo kus nějakého japonského znaku.

Japonci také nemají rádi UTF-16. Z důvodu výše popsaných zkušeností se jim vůbec nelíbí myšlenka rozšiřování Unicode nad 16 bitů. Ani nevím, jestli se japonské verze Windows dodávají se zapnutou podporou Surrogate Pairs.

Třeba Japonci nechtějí v první řadě roundtripy...přinejmenším jsem je slyšel nadávat, že nejsou bezztrátové... :o)

V Linuux se round tripům nelze vyhnout. Například Qt používá UTF-16, kdežto glibc používá UTF-8 a omezeně i UTF-32. Efektivně se překládá všechno pořád dokola mezi jednotlivými prezentacemi Unicode.

Japonci to ale řešit nemusí. Znaky z Shift-JIS jsou podmnožinou Unicode (viz http://www.microsoft.com/globaldev/reference/dbcs/932.mspx), a Japonci dnes používají Windows. Windows jedou komplet v UTF-16 (Win32, .NET, aplikace). Shift-JIS se používá stejně, jako u nás ANSI 1250 - tedy pro importy starých věcí, a v pár prehistorických aplikacích.

To si myslí hodně lidí. Nedávno se tady na toto téma docela obsáhle diskutovalo.

"...50x složitěji, než je to potřeba..."

Jste si jist, že kdyby si mysleli, že s Unicode jako jediným interním formátem by fungovalo všechno, co potřebují, že by to neudělali?

Funguje tak Win32, Qt, .NET, Java... Myslíte, že kdyby to nešlo, tak by to tak udělali?

Ne, nefunguje. Nefungují roundtripy s kódováními, která nejsou podmnožinami Unicode. To by pochopila dokonce i bulharská striptérka.