Není mi sice tak úplně jasné, jak hodláte používat Firefox bez X, ale v principu ano: jde o díru v X, takže pokud nemáte X, nemáte ani tu díru.
PS: pokud tím myslíte používat firefox přes síť se vzdáleným display, pak se vás ta díra samozřejmě týká. Důležitá jsou zobrazená okna, je jedno, kde konkrétně běží proces, kterému patří.