Router os7 — limit DNS static záznamov v praxi?

A2ndyx

Ahojte, chcel by som sa opýtať, či má niekto reálnu skúsenosť s tým, koľko DNS static záznamov dokáže zvládnuť MikroTik RB5009 v praxi.
Riešim vlastnú ochranu klientov proti phishingu, malvéru a podvodným webom. Funguje to tak, že externý automat mi cez API priebežne zapisuje blokované domény priamo do MikroTiku do DNS static. Pri pokrytí všetkých zdrojov odhadujem, že by mohlo ísť približne o 500 000 až 800 000 záznamov.
Zaujíma ma hlavne:
či to má niekto odskúšané v praxi,
aký počet záznamov bol ešte stabilný,
ako sa to správalo z pohľadu RAM, CPU a odozvy DNS,
prípadne či ste radšej zvolili iné riešenie.
Viem, že sa to dá riešiť aj externe cez samostatný DNS/filter server, ale tejto možnosti by som sa rád vyhol, keďže momentálne nemám možnosť nasadiť ďalší hardware alebo PC, ktorý by to riešil mimo MikroTiku.
Zatiaľ testujem menší objem a momentálne to ešte funguje v poriadku, ale rád by som vedel, kde môže byť reálny limit alebo kedy už začne byť RouterOS pri DNS static citeľne spomalený.
Vďaka za každú skúsenosť alebo odporúčanie

ludvik

Z hlediska RAM bych řekl, že problém nebude. Ale ten zbytek si holt budeš muset vyzkoušet sám. Takových jako ty moc nebude :-) V novějších verzích ROS to naštěstí nemusíš cpát mezi běžné statické záznamy, je to tam extra jako Adlist.

A2ndyx

ludvik Ďakujem za info. Postupne sa to tam nalieva, už tam je nejakých 50000 domén a router to zatiaľ necíti, uvidíme.

Trnec

500–800 tisíc dns static záznamů na MikroTiku není dobrý nápad.
Ne kvůli RAM – ale kvůli architektuře DNS v RouterOS. V praxi se začne chovat špatně mnohem dřív.
RouterOS DNS resolver není navržený jako velká databáze pravidel. RB5009 má 1 GB RAM.

Velmi hrubý odhad:
1 záznam ≈ 150–250 B
800k záznamů:
800000 × 200 B ≈ 160 MB
RAM by to teoreticky unesla.
Ale problém je jinde.
Největší problém: DNS lookup
RouterOS DNS:
není optimalizovaný na statisíce pravidel
nemá radix tree / hash index
nemá RPZ engine
Takže dotaz může projít velkou část tabulky.
Výsledek:
DNS odpověď místo 1–3 ms
může mít 20–100 ms

Další problém: API update
Pokud automat zapisuje blokace:
500k záznamů
a každý update znamená: /ip dns static add ...
RouterOS začne:
lagovat CLI
lagovat Winbox
zatěžovat CPU

Reálné řešení:
RPZ DNS resolver

např.:
Unbound
PowerDNS Recursor
Bind RPZ

Ty jsou na to navržené.
RPZ zvládne:
10 milionů domén bez problému.

Architektura:
klienti
↓
MikroTik (redirect port 53)
↓
DNS resolver (Unbound / RPZ)
a tam můžeš mít klidně 5 milionů blokací bez zpomalení.

Zrovna si hraju s pihole+unbound na rpi4 (8GB ram) a cpu se nedostane nad 5%
Plná automatika - stahování blok listu hazard/léčiva + další listy, cca 750k domén.

A2ndyx

Trnec Jedno jadro vystrelilo trvalo na 100 % a odozva DNS bola extrémne pomalá. Problém sa prejavil približne pri 60 000 doménach, keď sa to celé nalialo. 😄
Čo sa týka API, dáta sa nalievali postupne podľa kategórií. Mám to spravené tak, že klienti si vedia jednotlivé kategórie zapínať a vypínať, prípadne ochranu úplne vypnúť alebo nastaviť časové pravidlá od–do, rodičovskú ochranu a podobne. Inak by som použil klasický adlist.
Chcel som sa vyhnúť nasadeniu ďalšieho hardvéru. Ešte som rozmýšľal nad tým, že by som dal DNS resolver ako container priamo do MikroTiku, len si nie som istý, ako by to vychádzalo výkonovo. Beží tam totiž aj centrálne QoS a automatizácia QoS podľa vyhodnocovania airtime, vyťaženosti sektorov a podobne. Je pravda, že výpočty robí webserver a do MikroTiku sa cez API posielajú už len príkazy, ale aj tak si nie som istý, či by toho už nebolo priveľa.

Alois

Nebylo by řešením tam nahodit nějaký kontejner s lepším DNS? Teda pokud něco takovýho vůbec existuje.

Trnec

Alois existuje - AdGuard Home container, otázkou však je, co ta 5009 všechno dělá.
A doporučuje se použít ideálně USB SSD, ne obyčejná flashka.
Stejně bych ale osobně provozoval dns forwarder na něčem jinčím než na Mikrotiku - ten má routovat atp.

A2ndyx

Trnec vyriešil som to tak, že si cron stiahne z mikrotiku najpoužívanejšie domény a porovnáva ich z databázou ktorú aktualizuje a prideľuje score a dá domény priamo do firewall adress list, kde si to mikrotik resolvne dns na ip ros7 to už vie, Max limit 10000 domén kde sa aj mazu podľa score používania na kategóriu a ide to perfektne, stým že ich spracúvava max po 200 každých 15 minút. Samozrejme je to v testovacej fázi ale vyzerá to veľmi sľubne.

A2ndyx

A2ndyx dns*

ludvik

hele, víš o tom, že za jedním DNS záznamem může být mnoho IP adres?

A2ndyx

ludvik
Však áno, v ROS7 ak máš zapnuté dns na mikrotiku a priamo do adress listu vo firewall dávaš napr facebook.com tak router automaticky resolvne a dáva do Dynamic podľa ip adresy, ktoré sa menia automaticky podľa ttl

A2ndyx

ludvik
A takto vyzerá scoring, jednoduchý JSON formát a už užívateľ si riadi v zk zóne čo a kedy chce blokovať podľa kategórií.

ludvik

Asi jsem si to měl dřív zkusit ... zajímavá fičura, address-list dynamický podle DNS.

A2ndyx

ludvik ROS má veľa zaujímavých funkcií 😄 aj keď je to niekedy na nervy kým človek nájde ako čo vie fungovať, lebo veľakrát to není ako dokumentácia hovorí 😄

ludvik

A2ndyx Používám ho od verzí 2 :-) I když ve větší míře až v3.

Teď jsem zrovna trpěl s tím, že změnili formát datumu. A jaksi se vykašlali na nějakou zpětnou kompatibilitu ...

A2ndyx

@„ludvik“#p440103

Fungujem ako ISP približne 5 rokov, takže sa človek neustále učí a v tomto prípade to neviem úplne objektívne posúdiť. V porovnaní s ROS6 mi však ROS7 pripadá lepší.

Jediný problém som zaznamenal pri OSPF, MPLS a VPLS – síce to fungovalo, no spravidla sa do dvoch týždňov rozpadol OSPF aj VPLS tunel (spolu s MPLS). Príčinu neviem presne určiť.

Inak všetko fungovalo bez problémov a je možné, že konfigurácia už bola zbytočne prekombinovaná.