Já se právě snažím hledat alternativu k SQS, které má svoje problémy a myslím si, že Redis (Sentinel) + RQ by mohlo být elegantní a dost minimalistické řešení ve stylu "kdo nic nedělá, nic nezkazí".
Tak na Sentinel pozor. Z principu návrhu může Redis přijmout a zahodit data v případě Split-brainu. Protokol Sentinelu je race condition, někde se na to dál vygooglit článek "Redis sentinel: call me maybe", ale píšu z mobilu, takže vám teď odkaz nebo přesný název nedám.
Díky. Ano, to může být problém. Situace, kdy by se task vykonal vícekrát, vlastně nevadí (stejně se při problémech zařadí zpátky na konec fronty s nějakým sníženým TTL), ale ztráta by se hledala hůř.