Aby se to dělalo pořádně, ve většině případů bude třeba znát velikost instance (pod)problému, aby se nepoužíval kanon na vrabce a režie způsobená použitím paralelní verze algoritmu nebyla větší, než skutečné paralelní zrychlení.
V některých případech může kompilátor transformovat nested data parallelism na flat data parallelism, kde je velikost úloh podobná. Takto funguje Data Parallel Haskell.