Zatizeni vice jader CPU mikrotikem

baz

chtel jsem vedet, jak dobre pracuje vyuzivani vice jader CPU v mikrotiku. ten ve ctyrkovych verzich hlasi jen kompletni nejaky prumer vytizeni.

tak jsem nahodil zkusebni verzi 5.0rc4.

stroj je supermicro se styrjadrovym xeonem 2,4ghz

tok kolem 500mbit a vytizeni:

1 jadro 40%

2 jadro 16%

3 jadro 7%

4 jadro 1%

samozrejme to vytizeni kolisalo, ale pomer jader byl furt zhruba stejnej - naprosto nerozdelena zatez.

tak ted su z toho malinko jelen - jak to rozdelovani zateze do jader vlastne funguje, kdyz je to ve vysledku tak nerovnomerne?

ocekaval jsem rozdil v radu procenta dvou, ze se to hezky rozdeli, ale ne ze to odedře prvni jadro, druhy dela trochu, treti semtam pricmrndne a ctvrty dela hovno.

ma nekdo nahozenou petku MK na vicjadrovym stroju a mohl by poreferovat, jak se mu to hybe?

soooc

chtel jsem vedet, jak dobre pracuje vyuzivani vice jader CPU v mikrotiku. ten ve ctyrkovych verzich hlasi jen kompletni nejaky prumer vytizeni.

tak jsem nahodil zkusebni verzi 5.0rc4.

stroj je supermicro se styrjadrovym xeonem 2,4ghz

tok kolem 500mbit a vytizeni:

1 jadro 40%

2 jadro 16%

3 jadro 7%

4 jadro 1%

samozrejme to vytizeni kolisalo, ale pomer jader byl furt zhruba stejnej - naprosto nerozdelena zatez.

tak ted su z toho malinko jelen - jak to rozdelovani zateze do jader vlastne funguje, kdyz je to ve vysledku tak nerovnomerne?

ocekaval jsem rozdil v radu procenta dvou, ze se to hezky rozdeli, ale ne ze to odedře prvni jadro, druhy dela trochu, treti semtam pricmrndne a ctvrty dela hovno.

ma nekdo nahozenou petku MK na vicjadrovym stroju a mohl by poreferovat, jak se mu to hybe?

Prosím, napiš, kolik to obsluhuje sitovych karet :)

lwq

Koukni fo tools/profiler - tam je co zatezuje ktere jadro :

baz

sooc: dve karty, obe opticke. Jedna v PCI-X - wan, druha v PCIexpressu - Lan.

lwq: ted uz tam nemrknu, uz je tam zpet stabilni verze. nemuzu nechat na tak dulezitem miste neco pokusnyho. i tak tam ta rc4 byla asi tri dny.

lukas

To je zajimavy, ja mam uplne jinou zkusenost http://ispforum.cz/viewtopic.php?f=23&t=6713&start=15

lwq

Jo a co to je za sitovky a vubec jakou specifikaci ten server ma ? :

baz

To je zajimavy, ja mam uplne jinou zkusenost http://ispforum.cz/viewtopic.php?f=23&t=6713&start=15

ja to cetl. ale nechapu. tobe se to rozdelilo aspon nejak rozumne, sice taky ne moc dobre, ale aspon neco ta jadra delala. to byla ale verze rc5?

hapi

ono se to nikdy rovnoměrne nerozdělí. Jedno jádro oblushuje většinou I/O jednoho ethernetu což by odpovídalo prvnim dvoum jádrum, jedno pro upload a druhý pro download tedy pro příjem dat z těch dvou ethernetu. Ostatní jádra jedou třeba jenom pro zpracování winboxu což při většim počtu pravidel taky žere výkonu hodně a typnul bych že shaping a ostaní firewalový věci jedou na prvnim jádře.

lukas

hapi: tipujes blbe, podle toho Profile resi kazde jadro svoje queue, svuj firewall (...).

baz: no prave, ja mam sice taky svoje problemy, ale jako rozdelovani zateze je v pohode. Tam by nemel byt rozdil, to je stejny kernel.

Pri dlouhodobem sledovani jde videt, ze to dynamicky prehazuje ruzny procesy mezi jednotlivy jadra, vetsinou je to +/- stejne a kdyz se jedno vic pretizi, za chvili to viditelne dela jine...

edit: jeste to trochu rozsirim - kdyz jsem patral po tom, jak to vlastne funguje, zjistil jsem, ze v jadru 2.6.35, ktere je v 5ce od 5.0rc1 (predtim bylo starsi) funguje rozdeleni prace formou vlaken (drive to byly procesy), tzn. ze kazde pravidlo v queue (HTB), nebo firewallu (iptables) je samostatnym vlaknem a muze byt rozdeleno mezi procesory, ktere na to maji cas. O to se stara sam kernel. Vzhledem k tomu, ze MikroTik je vlastne jakysi busybox, ktery stoji nad tim Linuxem, do kteryho nas furt ty kurvy nechcou pustit (a to by lecos vyresilo), bude se tam dit presne toto. Co naopak rozdelit nejde, je prace tech sitovek, coz by potvrzovalo to, ze podle Profiles mi "ethernet" zere jen 2 jadra a ja mam dve sitovky :) Nastesti je to minimalni zatez, takze o nic nejde. A tady bych hledal i bazuv problem, ovsem dokud nebude Profiles, jsou to jenom teorie "z hoven"...

hapi

hmm, tak to dost pokročily. Koukni ještě do resources a IRQ. Tam bude zbytek zátěže co má větší vliv na práci procesoru při spoustu paketů a asi tam je i jaký jádro ovládá jakej ethernet nebo spíš jaký jádro zpracovává přerušení z jaký karty. Jak si to testoval? Normálnim průtokem něbo někde na bráně s cca nad 100 aktivnimi usery? Po tomhle výsledku nejspíš instalnu v5 na bránu a budu sledova co to dělá.

Teď jsem koukal na RB711 a firewall ukazuje +- 2% i když tam neni žádný pravildo při toku 4Mbit. Zakázal jsem connection tracking a je na většinu času na 0%. Tohle sledování vytížení se mi začíná líbit.

lukas

Sledovani vytizeni je uplne super, na to jsem se tesil hned po novym kernelu nejvic. Ty dve sitovky (eth0, eth1) jsou ty s nejvetsim zatizenim, ta 3ti je jenom zaloha, tam bezi akorat kancl s par PC. Jo, je to ten stejny router, o kterym jsem mluvil v tom druhem tematu, bezi pres to kolem 3tis pocitacu, delame hodne velkoobchodu.

baz

sakra moc se mi nechce poustet RC do produkcniho prostredi. mel jsem to tam chvilu na test par dni a docela jsem se trepal, jestli s tim nebudou problemy - ty nebyly, krom toho, ze se to nechtelo nechat monitorovat v cacti. cacti hlasilo router ok, ale nekreslilo grafy etheru, coz me hrozne sralo. s funkcnosti behem tech par dnu problemy nebyly.

uvidim ted mezi svatkama, ze bych tam zas na chvilu nahodil RC5, jestli bude nejaky rozdil proti RC4.

ajfel

sakra moc se mi nechce poustet RC do produkcniho prostredi. mel jsem to tam chvilu na test par dni a docela jsem se trepal, jestli s tim nebudou problemy - ty nebyly, krom toho, ze se to nechtelo nechat monitorovat v cacti. cacti hlasilo router ok, ale nekreslilo grafy etheru, coz me hrozne sralo. s funkcnosti behem tech par dnu problemy nebyly.

uvidim ted mezi svatkama, ze bych tam zas na chvilu nahodil RC5, jestli bude nejaky rozdil proti RC4.

Me grafy nekreslil ani muj vlastni system, to tam byla tusim 5.0beta6 nebo tak nejak, prehral jsem to na 5.0RC3 a uz to kresli.

V 5.0RC1 byla oprava snmp: *) snmp - fix GET request processing; a v RC5 *) snmp - fix BER encoding for negative INTEGER values;

baz

tak jsem se hecnul a kdyz je pauza mezi svatkama, nahodil jsem opet testovaci rc4, at je videt to vytizeni.

obrazek prikladam, opet je to dajake nevyrovnane.

router dela celkem houby, v siti je klid, tok jenom 300mbit.

je mi trochu divny to zatizeni "management" v profilu, to by me zajimalo co to dela, ten jeden spusteny winbox se trema okynkama asi ne.

co rikate na to vytizeni jednotlivych jader? o vyrovnanosti nemuze byt ani reci.

jeste otestuju verzi rc6, zda se v ni neco zmenilo.

hapi

asi od toho chceš moc. Už si viděl nějakou multithreadovou aplikaci která vytíží všechny jádra stejně? Já teda ne.

lukas

baz: ti tam neco musi bezet, nemas tam ispadmina, nebo nejakou takovou sracku, co by tam furt neco delala?

baz

ne, na tom stroji bezi jen a pouze mikrotik. je tam 64MB flashka, ani by se tam nic jinyho neveslo :)

zero

ne, na tom stroji bezi jen a pouze mikrotik. je tam 64MB flashka, ani by se tam nic jinyho neveslo :)

na to ted koukam a jede Ti to krasne vyrovnane : asi ji zkusim taky :

lukas

ne, na tom stroji bezi jen a pouze mikrotik. je tam 64MB flashka, ani by se tam nic jinyho neveslo :)

No to mi je jasny, ja myslel, jestli neni nejaka aplikace, ktera ten mtik ovlada? Ten 36% mng a ten unclass je divny.

baz

ne nic tam nebezi, ani zadny dalsi user neni prihlaseny. pokud je prihlaseny nekdo dalsi, nijak se to stejne nezmeni.

ten management tam ale neni vzdy, viz dalsi screen. tady uz je trochu vyssi tok kolem 500mbit, rozdeleni zateze do jader opet na houby, ale vytizeni managementem zmizelo. chvilema se ale objevi, drzi treba 10 minut a zase spadne na nulu. deje se tak i v hluboke noci, kdyz je v siti houby provoz a tok klesa pod mizernych 100mbit. ve spicce tim routrem tece kolem 600mbs a chova se to furt stejne.

Další stránka »