Xgl mapují desktop jako textury na tu 3D kostku, takže limitující je pro Vás asi maximální velikost textury, kterou zvládne Vaše grafická karta. Tu zjistíte příkazem
glxinfo -l | grep GL_MAX_TEXTURE_SIZE.
Ale je možné, že to špatně chápu, a problém je někde jinde...