Analyza provozu Vasi site - realny stav

lwq

Ahoj vsem,

v tomto vlaknu mi nejde ani tak o to jak mate zarizeni QoS ci analyzu provozu site, ale spis pro zajimavost jaky provoz Vam sit generuje a do kterych smeru ...

Plus se info o tom, jakym stylem byla dana informace zjistena i hodi - vlastne ...

Treba ja vcera zjistil, ze kdyz pomoci IP rozsahu co sem si dal do access-listu si oznacuju provoz na FaceBook, tak ten je ve spicce i kontinualne megabity / sekundu. Stejne jako Rapid ci Seznam, Youtube.

Dal sem si v Cacti kreslit grafy pro :

Created graph: Provoz - OC_Skype

Created graph: Provoz - OO_H323

Created graph: Provoz - OO_SIP

Created graph: Provoz - OA_DNS

Created graph: Provoz - OO_Fayn

Created graph: Provoz - OC_RTP

Created graph: Provoz - OC_RTSP

Created graph: Provoz - OC_RDP

Created graph: Provoz - OO_RapidShare

Created graph: Provoz - OG_YouTube

Created graph: Provoz - OE_Facebook

Created graph: Provoz - OO_Bittorent

Created graph: Provoz - OE_Seznam

Created graph: Provoz - OO_Stream

... tak uvidime co to nakresli ...

Jak jste na tom Vy ? :

lwq

dej si tam ještě ulož.to a máš tam hned 15% traficu

Nejake dalsi typy ? A diky moc :

stanislavhrncir

nebylo by špatné dát sem rozsahy, hnedle včera sem se zabýval subnety youtube a stream.cz..

hocimin1

Nejake dalsi typy ? A diky moc :

jestli to není tajný hod sem ty rozsahy, si je dám taky do cacti a muzem to pak porovnávat

baz

co takovy ty megauploady a podobny share servery? tech jsou kvanta a jsou dost pouzivany.

lwq

Doporucuju rozsahy hledat napriklad na http://www.iblocklist.com/ ...

Pouzil sem nasledujici rozsahy:

(pozor, nektery adresy se tam opakuji, protoze jde o data z ruznych systemu (skoda, za tam pri vyhledavani nejde groupovat))

YouTube :

level3

YouTube, Inc:64.15.112.0-64.15.127.255

YOUTUBE INC-060811122307:75.31.180.240-75.31.180.247

YOUTUBE INC-060805001739:75.35.233.64-75.35.233.71

YouTube, Inc:208.65.152.0-208.65.155.255

spyware

youtubegiris.com:62.212.74.194-62.212.74.194

spider

Google/YouTube:194.221.68.0-194.221.68.255

Google/YouTube:195.27.182.0-195.27.182.255

Google/YouTube:195.59.171.0-195.59.171.255

Business ISPs

YouTube, Inc:64.15.112.0-64.15.127.255

YOUTUBE INC-060811122307:75.31.180.240-75.31.180.247

YOUTUBE INC-060805001739:75.35.233.64-75.35.233.71

YouTube, Inc:208.65.152.0-208.65.155.255

Search Engines

YouTube, Inc.:64.15.112.0-64.15.127.255

YOUTUBE-01:72.51.34.221-72.51.34.236

YOUTUBE-02:72.51.35.205-72.51.35.212

YOUTUBE INC-060811122307:75.31.180.240-75.31.180.247

YOUTUBE INC-060805001739:75.35.233.64-75.35.233.71

YOUTUBE-061027151729:75.48.116.72-75.48.116.79

YOUTUBE-061211165701:75.55.218.8-75.55.218.15

YOUTUBE-061014203610:76.208.211.160-76.208.211.167

YOUTUBE-061014171517:76.210.160.216-76.210.160.223

YouTube LLC:82.129.37.0-82.129.37.255

RapidShare:

RapidShare:62.140.10.0-62.140.10.255

RapidShare:62.140.31.0-62.140.31.255

RapidShare:62.140.7.0-62.140.7.255

RapidShare:62.153.244.0-62.153.244.255

RapidShare:62.67.46.0-62.67.46.255

RapidShare:62.67.50.0-62.67.50.255

RapidShare:62.67.57.0-62.67.57.255

RapidShare:64.211.146.0-64.211.146.255

RapidShare:64.212.138.0-64.212.138.255

RapidShare:64.214.225.0-64.214.225.255

Seznam:

Seznam.cz, a.s.:77.75.72.0-77.75.79.255

Facebook:

FACEBOOK:65.201.208.24-65.201.208.31

FACEBOOK:65.203.134.64-65.203.134.79

FACEBOOK:65.204.104.128-65.204.104.143

Facebook:66.92.180.48-66.92.180.63

Facebook:66.93.78.176-66.93.78.183

Facebook, Inc.:66.220.144.0-66.220.159.255

FACEBOOK:67.200.105.48-67.200.105.51

Facebook, Inc.:69.63.176.0-69.63.191.255

Facebook, Inc.:74.119.76.0-74.119.79.255

FACEBOOK-080906022009:99.188.162.240-99.188.162.247

Zbytek co sem psal, tak jsou bude L7 veci (ktery sem aktualne kvuli zatezi musel vypnout) a nebo jen prosty "content" hledac v zalozce Advanced v Mangle ... Tim znackuju packety a provazu s Queues.

Jeste pro ty velky soubory na 80 portu hledam soubory vetsi nez 32MB a ty omezuju ... (tohle jeste nejak poladim).

Jo a to oznaceni Qvecek OO_ ... OA_ ... znaci, ze OO_ = neresil sem prioritu; OA_ = priorita 1; OB_ = priorita 2 ... Tim si tedy vytvorim skupiny pravidel najednou ovladatelnych skriptem pomoci "find" OO_ ..... :

lwq

co takovy ty megauploady a podobny share servery? tech jsou kvanta a jsou dost pouzivany.

Proty hledam IPcka ... Mno ... :

lwq

Jo a jeste doporucuju tento nastroj ... Podivejte se, zda (a pripadne ktere) Vase IP adresy jsou blokovany ... :

http://www.mxtoolbox.com/blacklists.aspx

lwq

Tak vcera sem tem pravidlum na shapovani rychlosti jednotlivych provozu dal i casovou platnost, pro jednoduchost staci.

Jeste sem pak nejaky cas venoval dalsi analyze provozu a je fascinujici co clovek najde, prida do spravne skupiny a jde dal, aby nasel, ze mu zas cast provozu utika. 8) :

Pouzivate nekdo L7 analyzu ? Na jekm stroji pri jakem toku ? :

Quad Core server je uz dost zadychanej kdyz pustim L7, aktualne bezi jen Bittrorent (protoze se jinak blbe chyta) a kazde dalsi pravidlo je aspon 2-3% zateze navic. A kdyz ukazatel zateze CPU preleze 20%, tak uz to zacina byt skrceno, divne to chovani ... :|

hapi

to neni divný chování. To je to chování kvůli kterýmu jsem se tu s dade_marfy hadal a to že MKčko ukazuje součet všech jader a při 25% to znamená vytížený jedno jádro na max a zrovna to na kterym běží a ostatní jsou k ničemu a nepoužívají se. Takže máš jedno jádro který používá na plno.

lwq

to neni divný chování. To je to chování kvůli kterýmu jsem se tu s dade_marfy hadal a to že MKčko ukazuje součet všech jader a při 25% to znamená vytížený jedno jádro na max a zrovna to na kterym běží a ostatní jsou k ničemu a nepoužívají se. Takže máš jedno jádro který používá na plno.

JO to vim, tak to i je. Ale aktualne neni jak RoS donutit vyuzit potencial celeho stroje krom toho kdyz bych ho hodil do virtualu a tomu dal prostredky quad core, ne ?

Jinak dik.

hapi

no to taky nepude, musíme počkat na stabilní v5, tam se něco s multicore řeší ovšem myslim že pujde předevšim o rozložení IRQ požadavků mezi jádra a rozdělení datových toků mezi jádra ale ne že by to pěkně rovnoměrně vytížilo multicore jádra. Jo žijeme v kapitalistický době kde se vývoj jednojader zastavil a výrobci sázeji na čim víc jader, tim víc adidas i když k naprostý většině aplikací je to naprosto nevhodný. Moc rád bych viděl raději jednojádro běžící na 4GHz než dual na 2.5GHz. No co, smůla pro nás a smůla pro výkonej routing i když v5 podle mě dost pomůže.

lwq

Takze idealne aktualne rozlozit zatez mezi vice stroju a nebo na tak exponovane misto dat neco jineho nez RoS. Coz ?

BTW: Napriklad Cisco mam v ASA5550 FW, 4096 MB RAM, CPU Pentium 4 3000 MHz ... Zadny vicejadro ... :

hapi

Hmm, 1/4 milionu za P4.

P4 je vořezávátko a i cisco píše malí datový toky na tož použití L7 filtru jestli ho vůbec má. Spíš vzít něco z i7,i5,i3core s turbo boost a dobře to chladit. Přidat DDR3 nejlépe v triple channelu. Pak při jednovláknový operaci je procesor schopnej se sám přetaktovat jedno jádro klidně o 600MHz a některý snad i víc. Musíš vybrat strávnej typ a nebo prostě skusit MKv5.

Co že to máš za quadcore? Neni quadcore jako quadcore. Na tomhle foru se přišlo, že při routingu a prostě těhle sítových věcech dost pomáhá velikost L2/L3 cache v procesoru a nejedná se o jednotky procent ale spíš desítky. Tim pádem je jasný co máš koupit :-D . Nutně to nemusí bejt xeon ale je dobrý u desktop procesoru vypnout šetřící funkce který brzději což třeba xeon ani tyhle funkce nemá pokud se nepletu.

lwq

Hmm, 1/4 milionu za P4.

P4 je vořezávátko a i cisco píše malí datový toky na tož použití L7 filtru jestli ho vůbec má. Spíš vzít něco z i7,i5,i3core s turbo boost a dobře to chladit. Přidat DDR3 nejlépe v triple channelu. Pak při jednovláknový operaci je procesor schopnej se sám přetaktovat jedno jádro klidně o 600MHz a některý snad i víc. Musíš vybrat strávnej typ a nebo prostě skusit MKv5.

Co že to máš za quadcore? Neni quadcore jako quadcore. Na tomhle foru se přišlo, že při routingu a prostě těhle sítových věcech dost pomáhá velikost L2/L3 cache v procesoru a nejedná se o jednotky procent ale spíš desítky. Tim pádem je jasný co máš koupit :-D . Nutně to nemusí bejt xeon ale je dobrý u desktop procesoru vypnout šetřící funkce který brzději což třeba xeon ani tyhle funkce nemá pokud se nepletu.

Tohle je supermicro stroj ... Co presne za procak tam je ted netusim, protoze tam byli vymeny kvuli vadnemu kusu z puvodni sestavy, kdy se to kousalo. O dulezitosti velikosti cache sem se docetl taky a dal to jako doporuceni pro dalsi nakupy.

Myslis, ze i7 by mohl byt znatelne pouzitelnejsi ? :

hapi

ne všechno co je od supermicro nebo cisca se třpití. viz ten tvůj vrak z dnešního technologického pohledu.

tak i7core je oproti P4 hooodně dlouhej kus vepředu. Pak tu rozhodně máme rychlejší ramky, chipsety, větší cache, zběrnice atd. Proti čemu by měl bejt rychlejší?

lwq

ne všechno co je od supermicro nebo cisca se třpití. viz ten tvůj vrak z dnešního technologického pohledu.

tak i7core je oproti P4 hooodně dlouhej kus vepředu. Pak tu rozhodně máme rychlejší ramky, chipsety, větší cache, zběrnice atd. Proti čemu by měl bejt rychlejší?

nevim presnou konfiguraci, ale vidim to podobne jako ty, zacina to byt vrak, tedy ... Pujde to bud delat nejaky server/router kde to staci a na vychozi GW prijde neco moderniho ? Mas nejaky odkaz na rack-mount server co by byl pro RoS vhodny, aby zvladal asi 500 pravidel v FW+Mangle + idelane i L7 a to vse na provozu treba 300mbps ? : Diiiik :

hapi

ještě mě napadá, neni v tom cisco routeru nějakej jejich extra OS? Nebo to je jenom HW?

imation

Zdravím mohly by jste sem někdo dat funkční řetězce pro L7 na označovaní skype a VOIP pár jsem jich na netu našel ale zdá se mi že označují pouze částečně.

Děkuji.

hapi

napadlo tě někdy dát do google něco jako "l7 layer"?

http://l7-filter.sourceforge.net/protocols

Další stránka »