Vlákno názorů k článku
CrowdStrike Falcon EDR způsobuje masivní BSoD po světě
od PEAK - https://www.osnews.com/story/140267/crowdstrike-issue-is-causing-massive-computer-outages-worldwide/
Do note that while the focus is on...
-
https://www.osnews.com/story/140267/crowdstrike-issue-is-causing-massive-computer-outages-worldwide/
Do note that while the focus is on Windows, Linux machines can run CrowdStrike software too, and I’ve heard from Linux kernel engineers who happen to also administer large numbers of Linux servers that they’re seeing a huge spike in Linux kernel panics… Caused by CrowdStrike, which is installed on a lot more Linux servers than you might think. So while Windows is currently the focus of the story, the problems are far more widespread than just Windows.
-
Možná jsem už na to starej, a nechápu moderní dobu, tak se jako radši ujistím, jestli to chápu správně.
1. Ten driver CrowdStrike sundá všechno/většinu mašin, bez ohledu na zátěž?
2. V CrowdStrike nikdo netestuje před publikací updatu?
3. CrowdStrike nemá automatizovaný testing, aby se eliminovaly lidské chyby z bodu 2?
4. Někdo (včetně velkých firem) má na produkci nastavený automatický update?
5. Někdo na produkci prvně patche netestuje na testovce?
6. Někdo na produkci nerozděluje patchování do několika vln, aby se případný výpadek eliminoval na snížení výkonu o 1/n kde n je počet vln?
7. Někdo na produkci před patchováním nedělá snapshot?Trochu mi není jasné, kde všude udělali soudruzi z NDR (a evidentně i z Microsoftu) chybu
-
1. ano
2. zřejmě ne
3. see 2
4. hůř, tohle je přímo vendor push, prakticky remote code execution
5. see 4
6. see 4
7. see 4:-)
Moderní doba, nebudem zodpovědní za vlastní bezpečí tak to outsourcujeme k zaměstnancům nějaké firmy kde se nováčci zjevně zaučují na ostré produkci. A svoje data necháme v mráčku, však oni mají lepší zálohy než my.
-
CrowdStrike ale nie je bezny softver ala visual studio kde si manualne pozdrzis updaty, alebo nejaka aplikacia na servery kde o nej rozhodne niekto za to zodpovedny. Crowdstrike je antivirus (a nie len to, je to fakt ujete dobre spehovatko na zamestnancov). Cize updaty su uplne v ich kompetencii a ty sa mozes iba pozerat.
U nas to dnes sundalo polovicu serverov a asi polovicu notebookov. Vyzera to byt trosku random komu to pos*rie stroj a komu nie, mne napr nie a to som si pritom nasiel ten C-0000029*.sys subor, cize update sa mi asi vykonal.
19. 7. 2024, 16:44 editováno autorem komentáře
-
Crowdstrike (anebo Imperva) funguji na podobnem principu, jako drive fungoval kernel driver heroin.ko. Natahne se do kernelu, prepise pointery na ruzne funkce a pak filtruje syscally, protoze vsechno tece pres nej. Je to v podstate virus/backdoor.
U takovehleho SW existuje milion zpusobu jak neco podelat, staci kdyz se nekde uvnitr kernelu zmeni nejaky offset. Uz vyse zminena Imperva nam sestrelovala Oracle databaze, ale pouze v pripade kdyz se nekdo pokusil zvetsit velikost tablespace. Dalsi prusvih nastal, kdyz se nekdo pokusil ten driver odstranit z kernelu pomoci rmmod. Anebo to nahodne blokovalo instalaci SQL Serveru, ale jen na pomalejsich pocitacich.
Navic tyhle bezpecnostni SW zpusobuje naprosto nelogicky chyby kdy vy nekolik dnu cumite do logu, vubec nic nechapete a na prvni pohled se zda ze jste narazili na problem ktery jeste nikdo nikdy nevidel.
Navic dneska mate v IT separaci roli. Takovyhle SW ma agenta na kazdem serveru a ten agent se bavi s management konzoli. IT Security staci jen nekde kliknout a nove drivery se vam nainstaluji a vam nikdo nic nerekme - vyrobce se chlubi tim, ze pro aktualizaci neni potreba zadny downtime.
-
> Crowdstrike (anebo Imperva) funguji na podobnem principu, jako drive fungoval kernel
> driver heroin.ko. Natahne se do kernelu, prepise pointery na ruzne funkce a pak filtruje
> syscally, protoze vsechno tece pres nej. Je to v podstate virus/backdoor.Tohle na Windows od dob Vista tak jednoduše nejde, pokud nepoužijete HW virtualizaci (což počítám, že snad nedělají). Systém kontroluje integritu důležitých ovladačů a hodí BSOD, když se mu něco nezdá. Takže vám zbývá využívat různá dokumentovaná rozhraní a hookovat uvnitř aplikací (lépe zachytíte jejich vztahy a dostanete více kontextu pro monitorované operace). Samozřejmě i tak je tam spousta prostoru pro BSOD.
Jinak slouhlas.
-
Opravdu to nejde? Ja myslel ze NT kernel je patchovatelny za jizdy, ze je to by design uz je to tak kompilovane.
Nekde jsem cetl clanek kde psali, ze kazda fce ve Windows kernelu zacina necim jako:short relative jmp .+80 00 00 tady je 127 nul. dalsi instrukce
S tim ze kdo chce tak muze tech 127 nul prepsat cim chce, treba tam dat jmp na vlastni kod. A pak ten "jmp .+80" prepsat ja "jmp .+0" a presmerovat fci na vlastni override.
-
Ano, místo na přepis kódu tam bývá (nebo bývalo), ale pokud jej přepíšete, v kernelu, riskujete střet s KPP (Kernel Patch Protection aka Patchguard), která vyvolá BSOD. Patchovat musíte chytřeji (např. v různých datových strukturách pointery na funkce), ale MS tyhle cesty také pomalu zavírá, takže je třeba extrémní opatrnosti.
Samozřejmě, hot patching je v kernelu podporován, ale to je dost nedokumentovaná věc outside MS.
-
4-7. Nikdo nic ručně nepatchuje. Tyhle antimalware sračky si žijou vlastním životem a stahujou si, co je napadne a kdy je napadne, protože přece je důležité mít aktualizace antimalwaru co nejdřív, kdyby se to zpozdilo o hodinu, tak už bude pozdě a to je super selling point těch řešení. Desítky až stovky aktualizací denně, nikdo ze zákazníků to nemá šanci testovat. Samozřejmě co nejvyšší práva a co nejdřívější natáhnutí ovladačů při bootu je taky základ, bez toho to nejde. No, a pak skončíš na BSOD.
-
Je to driver v system32/drivers, win servery i pc se cyklicky restartuji, dokud nenabootujete v nouzovem modu a .sys soubor nesmazete - na to potrebujete konzoli (fyzickou nebo virtualizovanou) a lokalniho uzivatele. Na serverech lokalni uzivatele nemate, takze rescue cd, boot, pripojit svazek, smazat, reboot.
Jsou dovoleny, jeden admin na desitky az stovky serveru, pristup via VPN - jenomze firemni ntb admina je taky kaput, a nema lokalni uzivatele, ani instalacni cd/usb po ruce ...
Ten soft ma slabsi detection s false-positive, ale response ma na 1*
-
BuldrZlatý podporovatelFirmy prostě v celkovém pohledu nezajímá Linux a nekonečné diskuse založené mnohdy na víře, ale chtějí zabezpečit své služby a data. Docela je chápu, už dnes je toho požehnaně a s dalším rozvojem AI čísla jen porostou. Můžeš nesouhlasit, můžeš akademicky diskutovat, ale nakonec rozhodnou platící zákazníci a pokud to tak chtějí, tak se holt musí Linux přizpůsobit, nebo jeho místo zaujme někdo jiný, který si rád vezme jejich peníze.
Trošku mi to připomíná Sentinel na Omniích (Turris) – bez analýzy provozu nemůže fungovat. Otázkou je, zda důvěřuji CZNIC – pokud ano, tak není moc co řešit. Prostě musím věřit, bez ohledu na počet odpůrců a odklon od Stallmanova učení. Ti samí budou bojovat i proti SLES/RHEL, tedy komerčnímu Linux a lobovat za GNU/Debian.
Nech to na firmách, peníze rozhodovali a nadále budou. Kde je poptávka, bude i nabídka.
-
DannyStříbrný podporovatelNo ale to magicke reseni pro ten korporat s desitkama tisic hlav tu porad nikdo nepredstavil, ze? ;-) To, ze te racionalite nerozumite proto, ze jste ten problem asi nikdy neresil neznamena, ze to jak to ty korporaty delaji je spatne.
-
DannyStříbrný podporovatel
Nikoliv - jen prezentujete svuj nazor, ze to jde delat lip, ale soucasne nedokazete rict, jak to to teda delat ;-) Reseni v korporatech muze byt spatne, ale vy jste nezvladl zakladni vec - rict, jak to tedy delat jinak a lip.
-
Takže pozor, tady nás známý řečník, co všechno ví líp ví líp dokonce už i to, kdo co čím chtěl říci :-D
Zatímco se pan Jirsák celkem uklidnil, vy ho začínáte dokonce překonávat protože tohle nedělal dokonce ani on. Přečtěte si ještě jednou, co jsem napsal. S chápáním psaného textu máte zjevný problém. Nebo možná spíš s tím, že máte evidentní obsesívní potřebu mlít jak tupec svou bez ohledu na to, o čem kdo mluví.
-
DannyStříbrný podporovatel
Filmovym ci hudebnim kritikem take automaticky neni kazdy hospodsky povalec, byt samozrejme kazdy hospodsky povalec svuj nazor ma, ze? :-) A treba na FFUK mate specializovany studijni obor, kde potrebne dovednosti ziskate.
-
BobTheBuilderStříbrný podporovatelKomentuji obecně jeho zjevný názor, že když to dělá korporát, je to automaticky v pořádku.
On to ale nikdo jiný, než korporát, dělat nebude. Nebo si vážně myslíte, že živnostník Franta Schopný bude lepší?
Něco se stane (panic serveru), zavoláte Frantovi a on řekne: "Jo, ten disk je špatný, už se měl vyměnit, ale já se rozvádím a teď vám nemůžu pomoct".
(To není vtip, jednu firmu v této situaci jsem zachraňoval - v pátek to bouchlo a v pondělí potřebovali papíry na celní odbavení kamiónu).
Takže slovo "korporát" můžete vynechat z diskuse. -
On zmiňoval výslovně firmy. Čímž předpokládám nemyslel OSVČ. Ale mně je celkem jedno kdo. Ostatně ano, platí to obecně: to, že něco někdo nějak dělá ještě opravdu neznamená, že je to správně ale tím spíš to neznamená, že je něco správně proto, že se tak rozhodne mnohdy nelogicky se chovající korporát.
-
BuldrZlatý podporovatel
To také netvrdím, ovšem nemyslím si, že všechna komerční řešení musím mít a ani že všechna komerční řešení jsou špatná a odklání člověka od GNU. Navíc Linux nerozumím dostatečně do hloubky a platím si na to člověka, který „rozhoduje-doporučuje“, ale také za to nese odpovědnost. Jinak řečeno, nikomu necpu to je dobré/špatné, natož soudil.
-
GNU vem čert. Ale "všechna komerční řešení nejsou špatná" - no máme tu všichni problém s krátkou pamětí. Jen za pár posledních let ty největší průšvihy, třeba.
- Mandiant zákazníci pod správou odborníků, bohužel tedy Rusáků.
- Microsoft tak jako vystavoval do světa data zákošů na blbě nastaveném cloud storage
- Teď _jen_ DoS přes půl světa díky CrowdSource.
- Avast
- SolarWinds opět pod správou rusáků. (dobrá, to není security "řešení").Tak možná by někdo mohl zamyslet, jestli obecně tyhle věci riziko snižují, nebo naopak činí mnohem vyšší.
(A proboha, proč to leze do kernelu? I ty přihlouplý M$ Defender Endpoint nebo jak se ta zhůvěřilost jmenuje jede "jen" přes fanotify() - a i tak škodí více než hodně (ze stovek nanosekund per syscall to udělá cca 10uS, což zajisté zvláště zatížená databáze nebo web velmi ocení, ale co už, v lepším případě se tam na kritické direktoráře dá výjímka, v běžném korporátu se radši navýší sizing coby řádově průchodnější řešení ;-) )
21. 7. 2024, 00:47 editováno autorem komentáře
-
DannyStříbrný podporovatel
Jasne, takze podle medialne znamych prusvihu delame zavery. Ututlane prusvihy nas nezajimaji ;-)
-
Filip JirsákStříbrný podporovatelCo třeba slabý klíč pro SSL v Debianu? Možná ztráta dat v BTRFS, a dalších filesystémech (asi by bylo jednodušší vyjmenovat ty, které žádný takový problém neměly). Z různých MySQL databází nebo MariaDB uniknou kvůli chybné konfiguraci data každou chvíli. Fakt se to netýká jen komerčních řešení.
A proboha, proč to leze do kernelu? I ty přihlouplý M$ Defender Endpoint nebo jak se ta zhůvěřilost jmenuje jede "jen" přes fanotify()
Protože to neprovádí zdaleka jen kontrolu souborů, jako Defender, ale kontroluje to i systémová volání. Ono totiž než se něco škodlivého dostane do souboru, může to vesele řádit v paměti – a až se to bude chtít na závěr zapsat do souboru, bude vlastně už po všem. -
Tady někdo nepochopil, že se bavíme o *přídavném riziku*, že ano? Takže otázka nestála, jestli je zbytek ssytému čistý, ale jestli, náhodou, riziko vnesené těmito zprasenými věcmi není větší, než to které je to schopno ochránit. S ohledem na notoricky známou kvalitu jejich kódu by to byl zajímavý tip na semestrálku.
Jinak o Linuxím audit sybsystému jste evidentně taky nikdy neslyšel, že ano.
Tohle nemá cenu, ono to "musí tam bejt antivir jinak je to nebezpečné" spíš připomíná kargokult založený na security by obscurity. Zvlášť, když většina high profile attackerů tyhle nesmysly taky má, a před vypuštěním malware si to prostě proti tomu otestuje. Lamy na totéž můžou použít virustotal, což jim sice taky pomůže, ale za cenu, že tím pomáhaj bílým kloboukům.
-
Filip JirsákStříbrný podporovatel
Tady někdo nepochopil, že se bavíme o *přídavném riziku*, že ano?
Co to je „přídavné riziko“?Vy jste ale psal o „komerčním řešení“, nepsal jste nic o „přídavném riziku“ nebo „zprasených věcech“, ani jste nenapsal, proč by se to přídavné riziko nebo zprasené věci měli objevovat jenom u komerčních řešeních.
Teď píšete úplně něco jiného a nepíšete nic o komerčních řešeních. A pokud jde o to, že současná bezpečnostní řešení zároveň představují velké bezpečnostní riziko, o tom mne fakt nemusíte přesvědčovat. To jsem i v této diskusi psal už předevčírem.
-
DannyStříbrný podporovatel
To je ale technicky vzato i jakakoliv nova kernelova featura - logicky s novym kodem prichazi i nove chyby, ze? :-) S touhle logikou byste rovnou mohl implementaci cehokoliv noveho rovnou zastavit.
-
Zrovna o nasadeni crowdstrike a AV je mnohokrat (nie vzdy) rozhodnutie sales. Proste pekne zabalili, predali. Niekedy je to podmienene kontraktami, ktore musia dodrziavat urcite standardy kvoli auditom. Audit musia dodrziavat z povahy vykonavania businessu.
O tom, ze AV predstavuje pekny attack vector pre utocnika je uz o inom..
Ti, co robia vo velkych korporatoch a videli ako prebieha audit, vedia ktora bije.
-
>> Oni hlasují peněženkou, ví co chtějí, ale taky neví, jak se to dá dělat.
Som za zasmial. Vela krat nevedia co chcu a zriedkakedy maju potuchu ako to urobit. Sudim z mojej osobnej skusenosti, 17rokov prace v medzinarodnom korporate. Kontrakty mame s mnohymi medzinarodnymi zakaznikmi pracujuci v podstate v kazdej oblasti zivota. Od jadrovych elektrarni po polnohospodarske spolocnosti. Vsetky korporaty maju svoj styl, ale vo vela veciach sa podobaju.Sikovny sales im preda to, co treba. Ostatne to je ich job.
No a potom su taki ako som spominal - standard v oblasti businessu im povie, co musia splnat. Ti v podstate vedia co chcu.
