Názory k článku
Techniky boje proti nevyžádané poště

Když o tomto (27. - 28. 9.)víkendu vypadl smtp server služby Mistral, rozhodl jsem se konečně si postavit valstní mailserver. Faktem je, že jsem se k tomu rozhoupával delší dobu, ale toto byla ta pověstná poslední kapka. Zvolil jsem řešení založené na MTA qmail doplněné antivirem Clam AV a SpamAssassinem. Opatchování, zkompilování a instalace softu byla v podstatě bezproblémová, těch pár drobností mělo původ mezi židlí a klávesnicí... Teď ovšem něco konkrétnějšího o spamu. Veškeré testovací spamy i spamy které jsem si vyměňoval s kolegou SpamAssassin spolehlivě označil. Já sice nemám příliš exponovanou adresu, ale mému výše zmíněnému kolegovi chodily na jeho adresu tuny brazilského spamu. Jako nejlepší řešení se tedy ukázalo zablokování celé podsítě v konfiguračním souboru tcpserveru. Z toho plyne, že problémy související se spamem si zaslouží hlubší analýzu. I po tak krátké zkušenosti bych rád tuto kombinaci MTA, antiviru a spamassassina doporučil, velmi pomáhá při likvidaci nejrůznějších virů.(Mám doma jedno poslední wokenní PC, sice zapatchované, ale i tak si myslím, že ten nový červ co se šíří spolu s e-mailem od "microsoftu" by pro něj byl pohroma)

omluvám se za ty překlepy a sem tam tu chybějící čárku, je půl jedné ráno :)

u nas je mozna pul jedne ale vite kolik je tou dobou v brazilii?

nevim sice kolik je v Brazilii, ale bloknuti nekolika jejich dial-up a xDSL ISP mi hodne pomohlo. Puvodne mi chodilo tak 20-30 spamu denne ted je to tak 4 za tyden a o to se postara Spamassassin! a stejne ani nerozumim co v tom spamu je, kdyz je portugalsky :-) Jinak vyzadovani korektnich DNS se mi taky osvedcilo! Martin

Spam resim jednoduse nekolika filtry. Vse co neni z ceske domeny a neprojde predchozima filtrama (mailing listy a VIP) ihned mazu. Jsem u tiscali a z domeny .cz mi snad jeste nic neprislo (dokonce i tiscali news je puvodem z .com :). Je fakt, ze kdyz me bude psat nekdo neznamej tak se to nedozvim, ale zatim se to nestalo.. asi :]

Myslim, ze popis Bayesovske statistiky v clanku neni nejvhodnejsi. Hlavne: Bayesovska statistika sama o sobe neslouzi k predvidani budoucich jevu. Naopak dava vzorce pro ,,zpetnou'' pravdepodobnost. Typicka uloha by byla: zname pravdepodobnosti, s jakou se objevi urcite slovo ve spammu a v legalnim mailu. (Urcime asi na zaklade rozboru tun mailu, v tom je ta statistika, zbytek je pravdepodobnost) Kdyz potom toto slovo najdeme v mailu, tak se ptame, jaka je pravdepodobnost, ze mail je spam/legalni. Toz tak.

tzv. bayesuv (pravdepodobnostni) klasifikator, nejrobusnejsi a nejpomalejsi

O naivní Bayesovský klasifikátor tady ani nejde. Spíš jde o aplikaci B. sítí.

1. Využívat databáze spammerských počítačů, což je nepoměrně lepší než přidávat každého spammera typu "john123756asff@hotmail.com" na blacklist.

2. Při příjmu mailu vyžadovat reverzní DNS záznam pro odesilatele. Toto je opravdu klíčové. Naprostá většina spamů chodí z počítačů bez reverzního DNS záznamu.

3. Striktní trvání na dodržování RFC. Mnoho spamů posílají nějaké 3rd party utility, které často porušují RFC (zatímco běžné mailery typu Outlook, Mozilla apod. je většinou neporušují).

Nasadil jsem (na základě článku zde na rootu) Messagewall, což je proxy před reálným mailserverem. Tuhle jsem pro někoho z diskuze na Lupě dělal statistiky a pouhým vyžadováním revezních IP adres, použitím blacklistů a vyžadováním RFC klesl počet spamů na minimum a tam, kde něco prošlo, ještě zafunguje filtrování na klíčová slova ("free", "opt-out", "viagra", "penis" apod.).

Takže teď mailbox, který dostával klidně pět spamů denně (což při přeposílání na mobil docela otravuje) dostane tak jeden za týden. Z vlastních zkušeností můžu Messagewall doporučit, funguje fakt výborně.

stim reverznim DNS zaznamem to neni zrovna nejlepsi. Ano je pravda, ze spammeri vetsinou nemaji PTR zaznam, ale tohle jsem vyzkousel jen jednou a denne mi hlasilo spousta zamestancu firmy ze jejich znami nemuzou jim napsat protoze jim to pise 451 Bad reverse DNS record.... (nebo jsem se taky setkal stim ze PTR zaznam existoval, ale PTR zaznam uz nemel A zaznam - treba ip 213.154.136.61)

No, toho jsem se bál také, ale dopadlo to dobře, myslím, že dnes ta situace není tak tragická a reverze většinou jsou.

Má to ale jeden háček (vlastně dva) :
- můžu využívat databáze spamerských PC
- můžu vyžadovat reverzní DNS.

.. ale je mi to k prdu, pokud takovou poštu odmítnu, ona se vnutí na záložní server podle dalšího MX záznamu a za chvíli ji tu mám zpátky a ze stroje, který je důvěryhodný, který není na blacklistu a má korektní reverzní DNS.
A co tím teď ?

Udelej s tim to co ja - proste zalozni MX zrus, stejne k nicemu neni. Je preci jedno, jestli posta bude pri vypadku viset na zaloznim MX nebo u odesilatele.
Co se tyka blbe nakonfigurovanych BFU MX, ktere nemaji revers, momentalne trpelive vysvetluji,at se odesilatel obrati na sveho spravce ci ISP. Je to mnohdy otrava, ale myslim, ze je to dobre. Vyzadovani reversu fakt zabere na 90% spamu, dle mych zkusenosti.

5 spamu denne? tak to bud rad :), me jich chodi tak neco kolem 80-100 denne! Mam nainstalovany SpamPal s nastavenym *.cz do whitelistu kvuli konferencim, kterych mam prihlaseno hodne, jinak je vsechno default a funguje to skvele.

Já vím, že pět denně není mnoho. Ale i tak to bylo otravné a přimělo mě to k akci a protože jsem s Messagewallem udělal výbornou zkušenost, tak se rád podělím.

Co ak reverzny zaznam existuje, ale vracia ine domenove meno, nez na ake je registrovany priamy zaznam?

Proste moj pripad, kde stroj seminaru je pripojeny v univerzitnej sieti a teda reverz robi univerzita (s univerzitnym domenovym menom) a priamy ja (s vlastnym, suvisiacim s nazvom seminaru). Na niekolko mailov na to upozornujucich neopovedali, tak som to vzdal. Je vobez mozne, aby reverz prekladali oni, ale na "nase" meno?

Většinou stačí, že forward(reverz(ip))=ip.

Hodně počítačů má víc A záznamů, a většinou jen jeden reverzní záznam. Konfigurace stylu

poctac.a-27.eni.nuni.tld A 10.5.57.11
seminar.tld A 10.5.57.11
www.semiar.tld CNAME 10.5.57.11

reverz

.11 PTR poctac.a-27.eni.nuni.tld

je v pořádku.

Toto jsou techniky potrebne v anglicky mluvicich zemich. My ale muzeme pouzit jednoduche kriterium Anglicky mail = spam. Samozrejme v kombinaci s white/black listy. Funguje stoprocentne.

tohle funguje dost spatne, jelikoz ja dostavam 98% posty pouze anglicky :-). a spam to v zadnem pripade neni.

Nerikam, ze to funguje kazdemu, ale beznemu ceskemu uzivateli, ktery cte minimum anglicke posty by to melo stacit. Tech par adres, ze kterych chce dostavat i anglickou postu (opera.com, konference apod) si prida do whitelistu a je to.

Nevim, pominu-li pripominku predchoziho prispevatele, tak vase metoda ma jeste jeden problem a to sice ten, ze cesti spammeri se v posledni dobe velmi cini.
Nepamatuji pred dvema lety cesky SPAM, dnes vetsinu SPAMu dostavam v cestine a z .cz. :-(

Nejlepsi je prevence - mit 2 maily - soukromy (staly) a verejny (pripadne se menici). Soukromy se dava jen osobne (mailem, telefonem ...) a nikdy se neuverejnuje na webu/konferenci. Verejny se cte jednou za tyden, jestli tam nahodou neni neco relevantniho a kdyz pocet spamu prekroci tak 500 denne, tak se rusi.

Teprve potom zacina mit smysl blacklistovat soukromy a filtrovat "enlarge your penis" z verejneho.

Zkusenost je takova, ze na jeden mail prisly asi 2 spamy za 5 let, na druhy 1 spam za 3 roky a na treti zatim nic (za necely rok a to je na freemailu).

Pokud mi na to budete odpovidat na nahore uvedeny mail, tak pocitejte s tim, ze odpovim tak za tyden :-)

Samozrejme to nelze pouzit vzdy, ale casto to velmi pomuze.

Podobnou techniku pouzivam delsi dobu (a uspesne), nicmene to mam vylepseny domenovym kosem, trideni tedy probiha podle prijemce.

Ma to zajimave 2 efekty:

1. dozvim se, kde SPAMMER vzal emailovou adresu (napr. casto nic@domena.cz)

2. spousta lidi z firem se divi, jestli nahodou s nima nepracuju ;) (napr. cmhb@domena.cz - reakce "Je, a vy jste taky z banky?" ;)

ano ano... uzasne je daval lidem email typu Vase.jmeno@ma.domena.cz :-))))

Me prestaly spamy chodit pote, co jsem si zaplnil schranku a nechal ji tak 14 dnu plnou. Vysvetluju si to tak, ze spamovaci stroje nespamuji nefunkcni schranky, protoze by neunesly chubove hlasky o nefunkcnich schrankach.

No nevím. Jeden náš zákazník někde zaregistroval svojí mailovou adresu s překlepem. Nevím, kde jí registroval, ale již delší dobu mu chodí tuny spamů, které samozřejmě náš mailserver odmítne, anžto uživatele nezná. Přesto jich chodí denně řada.

, ale k cemu je vlastne zasilani SPAMU dobre, pro ty, kteri je rozesilaji? To se jako na tu reklamu (nebo co to je, jeste nikdy jsem si to necetl, ihned mazu), nekdo chytne? Prijde mi to jako davani papiru do schranek, taky to prece kazdej automaticky vyhodi, nebo ne?

Jeste, metoda soukromeho a nekolika verejnych mailu muze fungovat jenom kratkou dobu. Nevim jak je to mozne, ale i na muj soukromy mail, ktery znalo jen par vyvolenych, SPAM chodil. Asi maji pristup do database mailserveru....

Staci, aby niekto vas e-mail poslal v nejakom retazovom e-maily niekomu dalsiemu. Potom sa nestacite divit.

Mam pocit, ze vsetky retazove e-maily (ci uz ziadajuce pomoc, alebo ponukajuce stastie), su len na to aby sa zbierali, hlavne, funkcne adresy.

Nene, papirovy spam je velice uzitecna zalezitost. My s tim napriklad vystylame morceti bedynku, taky se da dost casto pouzit na podpal, na utreni zablacenych bot ... To s e-mailovym spamem neudelate :)

Souhlasím s Yokotashim, že prevence je základ úspěchu. Osobně to řeším podobně, mám adresu na freemailu, kam chodí, kde co, mažu to jednou týdně a tu a tam i přečtu.

Další adresu mám soukromou, která je sice zveřejněna na webu, ale jako obrázek, což naštěstí spamerské roboty ignorují, neboť nedisponují ocr - zatím.

Třetí adresu mám firemní. Tam je to složitější, protože uveřejněna být musí a obrázky tam použít zatím nelze, kvůli odlišnému stylu pro zobrazení a tisk a nejenom, takže jsem to robotům zesložitil alespoň použitím hexadecimálního zápisu zavináče a tečky a zároveň absencí mailto. Zatím se drží. Resp. spam chodí, ale jsem si téměř jistý, že od firem, které používají sekretářky, ne roboty a je výhradně český.

A jelikož se jedná o firemní adresu/y (nejenom moji) kam chodí pravidelně spousta nabídek, ceníků a dalších informací od dodavatelů i konkurence, kterou sledujeme, tak je docela hodně velký problém rozlišit tenhle druh korespondence od reklamních nabídek v češtině, které jsou velmi podobně psané (anglický spam velmi vyjímečně a ruský často, ale jen na jednoho uživatele a to se zahazuje bez vyjímky vše bez jakékoliv filtrace). Překvapivě mi chodí od českých firem spam z jejich vlastní domény, nebo ze stálé adresy. Očekávám, že se to změní, ale zatím stačí nastavit adresy/domény do blacklistu a je to. Mimochodem na čtení používám Mozillu 1.4, která umí ohodnotit nevyžádanost. Nějakou dobu už se učí rozlišovat, ale momentálně prochází spamů docela hodně.

Spamassasin, nebo jiný podobný program jsem se neodvážil nasadit právě z výše uvedených důvodů. Rozdíly mezi běžnou reklamní poštou, kdy nás dodavatel upozorňuje na nový výrobek v nabídce a nabídkou nesmyslu, který nechceme, je často skutečně nepatrný.

SpamAssassin maily nemaže. Přidá jenom do hlavičky mailu proměnnou X-Spam-Status s hodnotou buď Yes nebo No a bodovým ohodnocením.Samozřejmě je možné přísnost bodového hodnocení zvýšit nebo snížit. Výchozí hodnota je 5 bodů, spam má klidně i 15 - 20 bodů... btw. korektní reklamní pošta bude mít jistě v pořádku DNS záznam, že? atd atd....

Ano, DNS záznam má vyžádaná pošta určitě, ale jak jsem psal výše, přicházejí nám nabídky i od českých firem z jejich vlastní domény, případně ze seznamu, volneho a podobně a tam je DNS záznam taky v pořádku.

Filtrovací program může korektně odfiltrovat klasický cizím jazykem psaný spam, ale nepozná reklamu na bazarové PC od mailu s aktualizací cec PC komponent od dodavatele. Případně od dotazu zákazníka na ceny PC komponent a tak podobně. Prostě zaměření vyžádaných a nevyžádaných mailů je příliš blízké a nelze to zatím řešit lépe než blacklistem.

A jak jsem psal výše, učím Mozillu, ale účinnost se pohybuje kolem 40 - 50% (vyhodí třeba nabídky letenek a výuky jazyků atd..., takže nic moc.

len tak pre srandu kralikov :)

inak ja mam zo seckych emalov asi 25% spamu. vsetko mi
chodi z jednej konfery a robi to u mna tak 6-7 mailov
denne - co nepovazujem za ziadnu tragediu. pouzivam
mailove sluzby jednej (najvacsej) slovenskej firmy a ta ponuka jednoduchy filter. Mam v nom: zahadzuj secko co obsahuje "sex", "viagra", "penis", "porn" a odfiltruje mi to cca 70% spamu.

Poté, co počet spamů dosáhl 8000 denně, zavedl jsem tříúrovňovou filtraci.

1) Spamassasin na serveru. Nepřijme to, co rozpozná jako spam, nebo to, co má Windows spustitelnou přílohu.

2) Spambouncer vyřadí to, co on zná jako spam, dále vyřadí podezřelé maily (blocked) a ponechá je na serveru. Tam se párkrát za měsíc podívám, zda tam něco důležitého není.

3) V mailovém klientu mám klíčová slova na rozpoznání double-bounce mailu. Pokud jsem neposlal důležitou zprávu, bounce maily mažu. Jinak se tam podívám, jestli náhodou nepřišel bounce od mé zprávy.

Výsledkém této filtrace je několik spamů denně.

Jinak spammeři mají metodu, jak zjistit adresu bez jakéhokoliv odkazu na netu - skenováním IP najdou SMTP server a pak podle slovníku jmen zkoušejí jméno@server. To co se nevrátí, je zřemě funkční mail. Pokud nemáte atypickou adresu, najdou vás. Tomu se dá bránít třeba zmíněným doménovým košem.

...a uspesnost hodnoceni slov tak klesa. Mne ve spamu chodi nikoli "viagra", ale "V<!lsdkjf>ia<!lkasjdf>gr<!lkasdjf>r<!lksjdf>a" Velke procento spamu se mi zacina stahovat primo z webu - v mailu je jen odkaz.

Spamari holt reaguji na existenci SpamAssassinu a podobnych a delaji vsechno proto, aby to obesli. Me uz to dozralo natolik, ze jsem si napsal filtracni program sam.

Prave ze naopak! Kolik legitimnich emailu obsahuje slova jako llskdhjgf, navic odstraneni HTML komentaru je trivialni operace, kterou neni problem antispamovy filtr naucit. Opravdu doporucuju si precist par clanku Paula Grahama na tema anti-spamu.

O.

Co, vy neumite skdhjgcky ? ;)