Transcript Orosz Peter
Debreceni Egyetem Orosz Péter ATMA kutatócsoport Debreceni Egyetem Informatikai Kar [email protected] Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Kutatási irányok Technológiai háttér ◦ Nagyteljesítményű forgalom monitoring ◦ Kihívások, motiváció Hardver és szoftver alapú forgalommérés A kutatócsoport által kidolgozott megoldások ◦ Rnetprobe monitoring rendszer ◦ Enhanced libpcap Összefoglaló Következő lépés Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Elsődleges kutatási területek: Nagyteljesítményű hálózati forgalom monitoring Cross-layer forgalomelemzés QoS/QoE vizsgálati módszerek Hálózatemuláció Kutatási projektek: Újgenerációs szoftver alapú hálózat monitoring[1][3][4] Nagyfelbontású időbélyegzési módszerek, eljárások[5][7] Nagyteljesítményű hardveresen gyorsított hálózati mérőrendszerek[4][6] 2011. június 3. – 1st High Performance Network Monitoring Workshop, Informatikai Kar, Debreceni Egyetem Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Nagysebességű kommunikáció: nagyteljesítményű monitorozási megoldások. Hálózatmonitorozás cross-layer protokoll- és forgalomelemzéshez: Passzív hozzáférés a monitorozott linkhez Veszteségmentes Nagyfelbontású A vonali rátájú csomagelkapás és nagy precizitású időbélyegzés trace adatok számára nagy tárolókapacitás On-the-fly forgalomszűrés és elemzés Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Active Test Access Point Az adatcsomagok tükrözése hatással van a monitorozott linken továbbított forgalom átviteli tulajdonságaira. ◦ Port mirroring (SPAN, RAP, monitor port) ◦ Tpacket socket tapping (libpcap) Passive Test Access Point Az adatcsomagokhoz történő hozzáférés nincs hatással a monitorozott forgalom átviteli tulajdonságaira. ◦ Fiber splitter ◦ Twisted Pair TAP: xBASE-T (regeneration at PHY) Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Ethernet kapcsolatok időzítési paraméterei Gigabit Ethernet 10 Gigabit Ethernet Ethernet keret minimális mérete: 72 byte (576 bit) Bit idő Inter-frame gap (alapértelemett) Δtmin egymást követő keretek között Továbbított keretek maximális száma másodpercenként 1 ns 0,1 ns 96 ns = 96 x bit idő 9,6 ns = 96 x bit idő 576 ns + 96 ns = 672 ns 57,6 ns + 9,6 ns = 67,2 ns 1 488 095 14 880 952 Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. a1 a2 p1 p2 g1 0 a3 672 a4 p3 g2 1,344 a5 p4 g3 2,016 p5 g4 2,688 p6 … g5 3,360 idő (ns) Minimális méretű csomagok generálása vonali rátával 1 Gbit/s-os kapcsolaton Csomagméret: pi = 72 byte (46 byte adat + 26 byte Ethernet fejrész) Érkezési időköz: ai = 672 ns (672 x bit idő) Inter-frame gap: gi = 12 byte ahol i = 1…6 Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Szoftveres időbélyegzés Hardveres időbélyegzés PHY Eszköz memóriaterület MAC Szoftveres időbélyegzés Csomag érkezési sor Hálózati kártya Hálózati stack Alkalmazás Rendszermemória Eszközvezérlő Fizikai rétegbeli feldolgozás Dt1 Keret feldolgozása DMA PCIe buszon Dt2 OS kernel space NIC ring buffer Dt3 OS user space Dt4 Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. idő (ns) Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Rögzített csomagméret: 72 byte / IFG: 12 byte Interrupt throttling nélkül Dinamikus interrupt throttling Szoftveres időbélyegzés eredménye interrupt throttling nélkül (1. ábra): Az időbélyezgés többletterhelése megszakítás leszabályozás használata nélkül alacsonyabb. A mért érkezési időközök közelebb állnak a hardveresen mért értékekhez. Az érkezési időközök kisebb szórást mutatnak. Mindkét üzemmódban megjelennek extrém magas értékek, melyek forrása a kernel ütemezője és a polling alapú feldolgozás együttesen. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Rögzített csomagméret: 680 byte / IFG: 12 byte Interrupt throttling nélkül Dinamikus interrupt throttling Szoftveres időbélyegzés eredménye interrupt throttling nélkül (1. ábra): A csomag érkezési időközök kisebb szórást mutatnak, mint dinamikus megszakítás leszabályozás esetén. Szoftveres eredmények megszakítás leszabályozással (2. ábra): Érkezési időközök szórása: polling alapú csomagfeldolgozás Az extrém értékek gyakorisága korrelál az eszközvezérlő polling periódusával. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. VoIP forgalom visszajátszása: Dinamikus megszakítás lefolytás: a polling következétben a csomagok feldolgozási késleltetése jelentős. A kernel érkezési sorába az eszközvezérlő belső ütemezése alapján kerülnek a csomagok, így a MAC szintű időbeni viszonyukról minden információt elveszítünk. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Veszteségmentes csomagelkapás nagyfelbontású időbélyegzéssel Gigabit+ Ethernet hálózatokon. Integrált passzív hozzáférési pont Többportos elkapás FPGA-val gyorsított design TCP alapú távoli elkapás libpcap és Wireshark integráció PCAP kimenet Nyílt implementáció Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Tulajdonságok: http://irh.inf.unideb.hu/atma/rnetprobe NetFPGA alapú design Passzív hozzéférési pont: hardware loopback Többportos veszteségmentes elkapás Hardveres időbélyegzés Hardveres csomagvágás Több csomag feldolgozása megszakításonként libpcap integráció PCAP és grafikon kimenet Profilkezelés Távoli elkapás és monitorozás Web interfész Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. http://www.netfpga.org/ Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Hardveres csomagvágás (snaplength) FPGA Több keret átvitele egy megszakítás alatt FPGA/DMA Összecsomagolt keretek visszaállítása eszközvezérlő Kernel skb cache optimalizáció intenzív forgalom feldolgozásához OS kernel Capture buffer hangolása optimalizált diszk írási teljesítményhez libpcap Az elkapott és összecsomagolt keretek átirányítása alternatív NetFPGA GbE interfészre Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Az időbélyeg generátort az FPGA 125 MHz-es core órajele hajtja meg Az RXDV (data valid) jelzés minden GMII esetén át van tükrözve a core órajel tartományba Az RXDV jelzés felfutó éle ütemezi a core domain időbélyeg számlálójának a kiolvasását A kiolvasott érték a beérkező keret IOQ fejléce mögé kerül beszúrásra Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. 50 1100 scope (RXDV2 - RXDV0) netfpga (ts2 - ts0) delta variation 40 1000 average time difference [ns] 30 20 10 0 900 800 700 10 600 0 500 -10 400 -10 -20 -30 0 -40 20 40 60 80 100 300 -50 0 500 1000 1500 2000 Packet sequence 2500 3000 3500 4000 200 0 20 40 60 80 cable length [m] Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. 100 120 Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Szoftver és hardver alapú hálózat monitoring megoldások tervezése és implementéciója nagyteljesítményű hálózatokhoz. Alapvető kritériumok: Nagyfelbontású és nagyprecizitású időbélyegzés[5][6] Veszteségmentes csomagelkapás Passzív hozzáférési pont -> hardware loopback Együttműködés Optimalizált I/O teljesítmény Elemeztük a 10-9 másodperc felbontású hardveres és szoftveres időbélyegzési módszerek teljesítményét. Korrelációt vizsgáltunk a hálózati adapter eszközmeghajtójának üzemmódja (megszakítás vezérelt és polling alapú) és a szoftveres időbélyegek által kifejezett csomag érkezési időközök között. Kifejlesztésre került egy alternatív, nagy precizitású időbélyegzési módszer, mely működőképes általános célú PC hardveren. Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Komplett hálózati forgalommérő labor egy asztalon Hardveresen gyorsított monitoring ◦ 10+ Gbps veszteségmentes mérés ◦ Nagypontosságú időszinkronizáció ◦ Folyamszűrés Szoftver alapú monitoring Egy alternatív időbélyegzési módszer kidolgozása nagyteljesítményű hálózat monitoringhoz, amely nyers TSC regiszterértéken alapszik, a cycle to time value és time value to time of day konverziós lépéseket pedig átterheli a megszakítási kontextusból egy alacsony prioritású felhasználói folyamatra.[7] Célok: ◦ Alacsony, kvázi konstans időbélyeg előállítási többletterhelés ◦ A mért érkezési időközök alacsony szórása: nagyobb precizitás ◦ Nagy teljesítmény általános célú PC eszközön Nagyteljesítményű IP útvonal emulátor Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. 1) 2) 3) 4) 5) 6) 7) Peter Orosz and Tamas Skopko, “Software-based Packet Capturing with High Precision Timestamping for Linux,” The Fifth International Conference on Systems and Networks Communications, ICSNC 2010, August 22-27, 2010, Nice, France, Proceeding p. 381-386. Best Paper awarded by the conference committee. Peter Orosz and Tamas Skopko, “High Resolution Packet Timestamping in a Shared Resource Environment,” 20th International Conference on Computers and Education, SzámOkt 2010, October 7-10, 2010, Szatmárnémeti (Satu Mare), Romania, ISSN 1842-4546, Proceeding p. 192-197. Peter Orosz and Tamas Skopko, “Performance Evaluation of a High Precision Software-based Timestamping Solution for Network Monitoring,” International Journal on Advances in Software, ISSN 1942-2628, 2011 Vol 4. No. 1 & 2 p. 181-188. Tamas Skopko and Peter Orosz, “Investigating the Precision of the TSC-based Packet Timestamping,” Conference on Embedded Systems and Wireless Sensors Networks Design and Applications, ESWSNDA 2011, August 24, 2011, Debrecen, Hungary Peter Orosz, Tamas Skopko, and Jozsef Imrek, “Performance Evaluation of the Nanosecond Resolution Timestamping Feature of the Enhanced Libpcap,” The Sixth International Conference on Systems and Networks Communications, ICSNC 2011, October 23-28, 2011, Barcelona, Spain Peter Orosz, Tamas Skopko, and Jozsef Imrek, “An Improved Performance NetFPGA-based Network Monitoring System with Remote Capturing: Rnetprobe,” submitted to Journal of Network and Computer Applications (Elsevier) Peter Orosz, Tamas Skopko, and Jozsef Imrek, “A novel high precision software-based timestamping method for high performance network measurement” under preparation Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15. Debreceni Egyetem Köszönöm a figyelmet! [email protected] http://irh.inf.unideb.hu/atma Jövő Internet technológiák és alkalmazások kutatása Magyarországon konferencia, Budapest, 2011. november 15.