"it can be used to access raw memory occupied by other objects (object representation), but unlike those types, it is not a character type and is not an arithmetic type."
Tzn. std::byte rozhodně není určen na počítání. Na to se používájí typy cstdint tedy pokud chcete 8-bit tak uint8_t a int8_t alternativně pak uint_fast8_t, int_fast8_t popř. int_least8_t, uint_least8_t dle účelu.
Jinak samozřejmě samotnému C++ je to jedno, je to jen o programátorské konvenci a srozumitelnosti.