HW a princip rizeni provozu 800 - 1000 Mbps?

pepeonachair

Ahoj,

mam problem s vykonem zeleza, ktere aktualne dela pro cca 1500 lidi.

Server dela:

- NAT/router

- HTB shaping - kazdy PC koncoveho zakaznika ma vlastni HTB class a tyto classy jsou nastrkane do nadrazenych classu, ktere shapuji podle toho, na jake spoje jsou zakaznici pripojeni. Vysledkem je strom HTB classu +- odpovidajici ceste pripojencu siti k serveru, co dela shaping

Zelezo serveru:

- HP Proliant DL380 G3, 1GB RAM, 2xDC Xeon@2,8GHz, 512KB cache

- kazdou sitovou kartu (jsou 2) ma na starosti jedno jadro CPU (vzdycky je to prvni jadro toho CPU) - pomoci affinity

OS:

- Debian Squeeze s original jadrem 2.6.32-5-686

Datovy tok:

- zvlada to ted maximalne 230-250Mbps smerem do site

- ze site (upload) je cca 100 Mbps

- v souctu obou smeru je pocet paketu za sekundu cca 60000

- ve spickach zacne narustat vytizeni procesem ksoftirqd postupne az ke 100% pro obe ty jadra, co resi sitovky

Shaper s pakety aktualne pracuje pomoci (hodne zjednodusene):

- iptables CLASSIFY, znackovani podle CONNTRACK tabulky, pravidla jsou strukturovana do 2-3 urovni (tj. nejsou tam ploche tabulky pravidel)

- nepouzivam hashing, dosud jsem si nebyl jistej, jestli to opravdu tak pomuze :?

Otazky:

Hledam reseni, jak zpracovavat datove toky 800 - 1000Mbps a obdobne cekam, ze naroste i provoz v pps.

- Pomohla by vymena serveru za generaci HP serveru G6 nebo G7, ktere uz maji Xeony rady 5500 a vyssi? Nekdo tady na foru postnul nedavno PDFko, kde se pise, ze Xeony 5500 a vyssi uroutuji 20Gbps... Odkaz na PDFko: http://download.intel.com/embedded/proc ... 322973.pdf.

- Je ostatni vybaveni (deska, sitovky, ...) tech G6 a G7 serveru dostatecne k vyuziti potencialu tech Xeonu 5500?

Protoze se zuby nechty drzim myslenky jednoho centralniho shaperu, je pro me vlastne hlavne dulezite to, jestli je mozne postavit na nejakem zeleze (idealne HP server) jen cisty (bez NATu, atd) shaper se sitovkami v bridge, ktery to zvladne. Protoze NATeru/routeru mezi tim shaperem a internetem uz muzu dat kolik bude potreba.

- Dosahnu pozadovaneho vykonu rozdelenim serveru na dva a vic? Jeden nebo vic, co bude jen NATovat a routovat a pak jeste jeden a prave jeden, co tomu vsemu delal jen shaping - sitovky v bridgi?

Skutecna aktualni potreba site je ted okolo 600Mbit (vyse popsany server je jen jeden z vice serveru, ktere slouzi jako hranicni NAT/shaper servery). Pozadavek az na 1Gbps jen proto, abych zachvili neresil zase stejny problem znovu.

Jak vy, co mate taky takovy provoz, tohle resite?

Diky, Pep.

hapi

neni to nahodou jeste stara P4 alias preskot? jestli je to jadro preskotu tak s tim prast do popelnice a mas dve moznosti. Dostupny jsou novy xeony E3, 4core. Vysoky frekvence, vykon masivni. Pak muzes pockat par mesicu na xeony E5 ktery budou mit jeste vetsi vykon a nektery kousky az 8 jader (nepocitam HT) pro patici LGA2011.

ocior

E5-16* i E5-26* uz jsou k dispozici. Treba Techdata je ma skladem.

Na 1Gbps je ta E3 bohate dostacujici.

hapi

jo k dispozici ano, ale serverový desky ne. Teda pokud trvá na HP serveru tak ti ho asi budou mít brzo.

ludvik

Mě to běží na X3470@2.93GHz a zatím pohoda.

Teoreticky (nejspíš to fakt bude ještě P4-class) to je tím, že ty jádra komunikují přes FSB. A to není zase tak výkonný, jak by se mohlo zdát. Takže ti každý paket proleze přes FSB (a to pravděpodobně několikrát). U nás podobná P4 (ale ne Xeon) končila právě na těch cca 300Mbitech. Řekl bych totiž, že tu sběrnici dostáváš už při těchto rychlostech na strop.

ludvik

Nekupuj na tohle HP, přijde mi, že za to zaplatíš dvakrát tolik, než musíš. Ale nějakou platformu buď intel (to naše je snad GrossePoint), nebo SuperMicro - jejich řešení s E3 xeonem je velké jak switch - třeba :-) IPMI u supermicra se může také hodit.

Ono totiž podobný problém má i třeba Dell. Jsou to servery, aplikační. Nikdo u nich neuvažuje nad použitím jako routery. Nepotřebuješ hafo pamětí, disků a ani procesorů.

hapi

ta sestava neni dobrá, v MKčku ti například jeden ethernet nepude. V linuxu snad jo i když mikrotik přebírá ovladače z linuxu tak těžko říct.

Taky mi přijde zbytečný brát hardware od HP ale oni maji pokud se nepletu servis a nějaký SLA což se zase vyrovnává. Ale je fakt že jsou dělaný spíš na použití jako servery a ne routery a pokud si dobře pamatuju tak si rackový verze casů nechaji dobře zaplatit.

pepeonachair

diky za reakce

Servery od HP bereme spis ze zvyku a proto, ze maji peknou vzdalenou spravu (iLO). Taky jsem mel ze zacatku lepsi pocit jistoty :) z te znacky.

Tohle jsem zjistil o CPU (omlouvam se za dlouhy post):

cat /proc/cpuinfo

processor : 0

vendor_id : GenuineIntel

cpu family : 15

model : 2

model name : Intel(R) Xeon(TM) CPU 2.80GHz

stepping : 7

cpu MHz : 2791.949

cache size : 512 KB

physical id : 0

siblings : 2

core id : 0

cpu cores : 1

apicid : 0

initial apicid : 0

fdiv_bug : no

hlt_bug : no

f00f_bug : no

coma_bug : no

fpu : yes

fpu_exception : yes

cpuid level : 2

wp : yes

flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe pebs bts cid xtpr

bogomips : 5583.89

clflush size : 64

cache_alignment : 128

address sizes : 36 bits physical, 32 bits virtual

power management:

dmidecode -t 4

# dmidecode 2.9

SMBIOS 2.3 present.

Handle 0x0406, DMI type 4, 32 bytes

Processor Information

Socket Designation: Proc 1

Type: Central Processor

Family: Xeon

Manufacturer: Intel

ID: 27 0F 00 00 FF FB EB BF

Signature: Type 0, Family 15, Model 2, Stepping 7

Flags:

FPU (Floating-point unit on-chip)

VME (Virtual mode extension)

DE (Debugging extension)

PSE (Page size extension)

TSC (Time stamp counter)

MSR (Model specific registers)

PAE (Physical address extension)

MCE (Machine check exception)

CX8 (CMPXCHG8 instruction supported)

APIC (On-chip APIC hardware supported)

SEP (Fast system call)

MTRR (Memory type range registers)

PGE (Page global enable)

MCA (Machine check architecture)

CMOV (Conditional move instruction supported)

PAT (Page attribute table)

PSE-36 (36-bit page size extension)

CLFSH (CLFLUSH instruction supported)

DS (Debug store)

ACPI (ACPI supported)

MMX (MMX technology supported)

FXSR (Fast floating-point save and restore)

SSE (Streaming SIMD extensions)

SSE2 (Streaming SIMD extensions 2)

SS (Self-snoop)

HTT (Hyper-threading technology)

TM (Thermal monitor supported)

PBE (Pending break enabled)

Version: Not Specified

Voltage: 1.7 V

External Clock: 400 MHz

Max Speed: 3600 MHz

Current Speed: 2800 MHz

Status: Populated, Idle

Upgrade: ZIF Socket

L1 Cache Handle: 0x0716

L2 Cache Handle: 0x0726

L3 Cache Handle: 0x0736

Handle 0x0400, DMI type 4, 32 bytes

Processor Information

Socket Designation: Proc 2

Type: Central Processor

Family: Xeon

Manufacturer: Intel

ID: 27 0F 00 00 FF FB EB BF

Signature: Type 0, Family 15, Model 2, Stepping 7

Flags:

FPU (Floating-point unit on-chip)

VME (Virtual mode extension)

DE (Debugging extension)

PSE (Page size extension)

TSC (Time stamp counter)

MSR (Model specific registers)

PAE (Physical address extension)

MCE (Machine check exception)

CX8 (CMPXCHG8 instruction supported)

APIC (On-chip APIC hardware supported)

SEP (Fast system call)

MTRR (Memory type range registers)

PGE (Page global enable)

MCA (Machine check architecture)

CMOV (Conditional move instruction supported)

PAT (Page attribute table)

PSE-36 (36-bit page size extension)

CLFSH (CLFLUSH instruction supported)

DS (Debug store)

ACPI (ACPI supported)

MMX (MMX technology supported)

FXSR (Fast floating-point save and restore)

SSE (Streaming SIMD extensions)

SSE2 (Streaming SIMD extensions 2)

SS (Self-snoop)

HTT (Hyper-threading technology)

TM (Thermal monitor supported)

PBE (Pending break enabled)

Version: Not Specified

Voltage: 1.7 V

External Clock: 400 MHz

Max Speed: 3600 MHz

Current Speed: 2800 MHz

Status: Populated, Enabled

Upgrade: ZIF Socket

L1 Cache Handle: 0x0710

L2 Cache Handle: 0x0720

L3 Cache Handle: 0x0730

hapi

mnoo, teď jsem koukal na ten server a neni mu náhodou něco okolo 10 let? To bude ještě něco před preskotem podle rychlosti FSB (max 533MHz) a má to DDR1 paměti. To je hodně starý peklo. Všechno se tahá přes jednu FSB a ta bude pro dvě CPU ne uplně optimální v případě routingu a pak šup s tim do pomalých ramek a ještě k tomu pouze jednokanálových.

Osobně si myslim že už výkonově dosloužil pro použití v routeru. Kup si Xeona E3 a supermicro desku a ušetříš na spotřebě a dostaneš velkej výkon. Supermicro má IPMI takže taky vzdálená zpráva.

ludvik

Jo - za to si nechají taky platit :-) Jenom to supermicro to má tak nějak v základu snad vždy.

Servery od HP bereme spis ze zvyku a proto, ze maji peknou vzdalenou spravu (iLO). Taky jsem mel ze zacatku lepsi pocit jistoty :) z te znacky.

Jinak máme asi všichni pravdu - jsou to dvě P4. Vyhodit :-) případně recyklovat ... Dnes už bych nešel níž, než do E3-1220. A výš to asi na router moc smyslu také nemá. S tímhle se dá 10G uroutovat ... uNATovat je samozřejmě jiná otázka, ale gigo tomu rozhodně činit problémy nebude.

pepeonachair

mnoo, teď jsem koukal na ten server a neni mu náhodou něco okolo 10 let? To bude ještě něco před preskotem podle rychlosti FSB (max 533MHz) a má to DDR1 paměti. To je hodně starý peklo. Všechno se tahá přes jednu FSB a ta bude pro dvě CPU ne uplně optimální v případě routingu a pak šup s tim do pomalých ramek a ještě k tomu pouze jednokanálových.

Osobně si myslim že už výkonově dosloužil pro použití v routeru. Kup si Xeona E3 a supermicro desku a ušetříš na spotřebě a dostaneš velkej výkon. Supermicro má IPMI takže taky vzdálená zpráva.

jj, tech 10 let by mu mohlo byt :)

pepeonachair

Mate nejaky tip na obchod, kde ten server poptavat? A kde tomu rozumi a kde se mnou budou bavit? I to Supermikro. Nechci si server skladat sam, potrebuju doporucit z ceho to slozit, objednat to a nechat si to u nich sestavit.

hapi

skuz abacus. zavolat nějakýmu obchodákovy.

ludvik

ItAge nebo Asbis pro supermicro, kvazar pro intela.

Mate nejaky tip na obchod, kde ten server poptavat? A kde tomu rozumi a kde se mnou budou bavit? I to Supermikro. Nechci si server skladat sam, potrebuju doporucit z ceho to slozit, objednat to a nechat si to u nich sestavit.

miract

Ja jsem sel cestou znackovani packetu primo v HTB, a nasledne hashing downloadu. Oboji znacne ubralo zatizeni CPU. Pravidel mame cca stejne.

ludvik

Co to je?

Ja jsem sel cestou znackovani packetu primo v HTB

pepeonachair

Ma smysl shanet server se dvema vicejadrovymi CPU nebo jen s jednim vicejadrovym? Dokazou ty novy CPU a vsechno okolo vyuzit pro jednu sitovou kartu vice jader nebo i vice CPU? Slouzi k tomu HT?

ludvik

Jeden vícejádrový. Víc patic jsou vyhozené peníze. A víc jader než 4 (možná i 2) také. Spíš lepší frekvenci a větší cache, než množství.

HT je asi trochu něco jiného, než myslíš.

Rozhazování IRQ na procesory je spíš vlastnost těch síťových karet a jejich ovladačů, než procesoru a čipové sady. Umí to třeba intel serverové karty (s ovladačem igb).

Ma smysl shanet server se dvema vicejadrovymi CPU nebo jen s jednim vicejadrovym? Dokazou ty novy CPU a vsechno okolo vyuzit pro jednu sitovou kartu vice jader nebo i vice CPU? Slouzi k tomu HT?

miract

Co to je?

Ja jsem sel cestou znackovani packetu primo v HTB

napr:

$tc filter add dev $devdown protocol ip parent 1 prio 100 u32 ht \ `printf %x $hs3`:`printf %x $hs4`: match \

ip dst $ipcko/$maska flowid 1:`printf %x $trida"0"`

Je zde i naznak hashovani.

pepeonachair

Na tom server jak jsem psal v prvnim prispevku, tj.

"HP Proliant DL380 G3, 1GB RAM, 2xDC Xeon@2,8GHz, 512KB cache" jsem vcera ve spicce pokusne vypnul vsechna IP tables pravidla, smazal cely strom TC pravidel a vubec vsechno co je tam kvuli HTB shaperu.

Takze server delal uz jen NAT a router. I presto se ale propustnost skoro nezmenila (resp. narostla o cca 10 - 20 megabitu, coz mohlo byt necim jinym). Muze byt tohle zpusobene tou pomalou sbernici FSB?

Pep.

Další stránka »