Vlákno názorů k článku Databáze pro 900 milionů obrázků aneb pořádný cluster v Seznamu od RDa - Prijde mi to jako softwarove peklo, tam mit...
-
Prijde mi to jako softwarove peklo, tam mit tolik vrstev :D
Skoda ze se nezminuje konfigurace jednotlivych nodu po hw strance - kolik jich tam bylo, v jake cpu/ram/disk konfiguraci a tak.. a zda se treba meni pocet nodu podle zateze, nebo se spoleha na to ze je zatez konstantni behem 24h a ze to servery uhrajou na idle. Pripadne kolik % je load a kolik to ma rezervu do budoucna.
-
Na druhou stranu pokud jsi omezený na použití kubernetu, moc jiných cest nemáš, Seznam to tlačí dost na sílu, TiDB je jedna z mála SQL databází (really), které dobře v takovém prostředí fungují.
Tlačí to teď všichni, co nám ve fyzickém světlě zvládá cluster o 6 serverech najednou musíme dávat do k8s na 200 podů a ještě pořád řešíme IOPS problémy, lagy a latence.
Ano, když to člověk porovná, rozdíl je zatím propastný, dnes máme DB nody s 20 - 100 TB dat, které saturují 40GbE síť, stojí 1 - 2 míče v korunách, to je něco co zvládne obsloužit provoz kdekoho a spíše než výkon tak se řeší dostupnost a latence. Problém je, že abys to vybudoval, potřebuješ spousty specializovaných lidí (síťaři, admini, devops, programátoři), zatímco systémv v kubernetu dokáží celý postavit, spravovat a připravit jenom chytřejší programátor, což je asi i tenhle případ.
Rozumím výhodám, je to daleko flexibilnější, ale přináší to nové výzvy a hlavně to posouvá zase výkonnostní efektivutu někam dozadu.
-
Co by jste navrhoval dela delat a proc?
Precetl jsem si vsechny komentare. Mate nejvice prispevku a vypada to, ze i zkusenosti. Trohu se v tom ale ztracim. Vic "zelezo"? Obnova "z pasek"? IOPS?
Co by jste doporucil firme, ktera by chtela pouzivat vlastni fyzicke servery, a dala vam volnou ruku? Rekneme 100 serveru (jak zminujete) nebo treba seznam s 10k (?) servery?
