Odpověď na názor

PAM je určitě klubko hadů, ale přijde mi to v tuhle chvíli nejpřímočařejší, odkud bych měl ověřovat uživatele. Snadno se dá udělat restrikce třeba na skupiny uživatelů, co se můžou přihlásit.
Ano dokážu si představit scénáře, co zmiňujete, kdy to není ideální.
Ale v podstatě u těch volně dostupných řešení je to teď něco jako vncpasswd nebo per-user GNOME keychain.. PAM by byl super pokrok.. :)
Jinak všechny tokeny, 2FA atp. se typicky používají při vzdáleném přístupu na nějakých VPN bránách. Na spousty použití je úplně v pohodě nejdřív otevřít cestu do nějakého perimetru a pak zadat normální přihlášení s údaji třeba z AD/LDAPu. Pořád to bude výrazně lepší než, co je tam teď.