Een kijkje in de keuken van LeaseWeb CDN

Onlangs hebben we de de eerste uitbreiding van ons Content Delivery Network (CDN) voltooid. Toen we ons CDN afgelopen juni lanceerden, verwerkte het platform 18 Gbps aan dataverkeer. Sindsdien kwamen er steeds meer klanten bij, waardoor het bandbreedteverbruik toenam tot 150 Gbps.

Natuurlijk waren we onzettend blij dat de nieuwe dienst zo’n sterke groei liet zien, maar het betekende tegelijkertijd dat we onze CDN-infrastructuur fors moesten uitbreiden. De afgelopen vier maanden hebben dan ook meerdere SuperPoP’s gebouwd in Europa en de Verenigde Staten. Dat klinkt natuurlijk leuk, maar wat is een SuperPoP eigenlijk? En wat is er nu precies ‘Super’ aan deze points of presence?

Wat een SuperPop zo super maakt
Eén van de grootste voordelen van een CDN is dat je snel en probleemloos de capaciteit van high-traffic websites op kan schalen. Met dit gegeven in het achterhoofd heeft ons CDN-team innovatieve clusters ontworpen op basis van High Performance Computing (HPC) principes:

  • Iedere cluster biedt een uplink met een capaciteit van 160 Gbps (4 x 40 Gbps) en een intern netwerk met een capaciteit van 48 x 10 Gbps
  • Elke edge node biedt caching-capaciteit verspreid over 24 interne solid state drives met een capaciteit van 512 GB
  • Twee aanvullende lagen met gedistribueerde opslagcapaciteit voor optimale prestatie

Dit resulteert in een schaalbare, gedistribueerde en meervoudig gelaagde caching-configuratie die volledig redundant is en tot 100 Gbps aan bandbreedtecapaciteit biedt. We noemen deze clusters SuperPoP’s, naar de HPC-term ‘supercomputer’.

Optimaliseren en tweaken
We hebben momenteel vier van deze SuperPoP’s gebouwd en geïntegreerd in ons CDN, waarmee de capaciteit met 400 Gbps is toegenomen. Dankzij de schaalbaarheid van deze setup kunnen we LeaseWeb CDN aanbieden in twee varianten: Pay-as-you-go en Enterprise. Pay-as-you-go is een gestandaardiseerde dienst die je gemakkelijk via onze website kunt bestellen. Sommige klanten hebben echter maatwerk nodig. Dit bieden we via onze Enterprise-optie. Omdat we ons CDN volledig in-house hebben ontwikkeld, kunnen we alle parameters van de Enterprise-variant voor de klant aanpassen, om zo de gewenste mate van schaalbaarheid bereiken. Zo kunnen we bijvoorbeeld een caching-oplossing geheel naar wens modificeren.

Het optimaliseren houdt echter niet op bij de hardwarelaag. Via het CDN control panel hebben klanten toegang to real-time analytics, waardoor ze direct inzicht hebben in het surf-gedrag van hun eindgebruikers. Hierdoor kunnen onze klanten op ieder moment van de dag de distributie van hun content tweaken, al naar gelang de situatie. Voor de analytics maken we gebruik van een MapReduce-algoritme dat gegevens ophaalt uit een databasecluster, die op 12 nodes draait. Iedere node is voorzien van twee snelle CPU’s en 192 GB RAM. Deze gedistribueerde databasecluster kan probleemloos meer dan 25.000 verzoeken per seconde verwerken! Voor de softwarearchitectuur hanteren we eveneens een innovatieve aanpak; we bieden klanten een krachtige RESTful API, die ook gebruikt wordt door het CDN control panel.

Vooruitkijken
Komende tijd zullen we op basis van onze SuperPoP-blauwdruk meer nodes met hoge capaciteit aan ons CDN blijven toevoegen. Zo staat de implementatie van een nieuwe SuperPoP in Azië in de planning. En als onze CDN-engineers niet bezig zijn met het het wereldwijd uitbreiden van de infrastructuur, zijn ze nieuwe functies aan het ontwikkelen voor ons control panel en API. Kortom, dit is nog maar het begin van LeaseWeb CDN. De toekomst ziet er zonnig uit! Met welke vernieuwingen zijn jullie bezig?


Maurits van der Schee is CDN Innovation Engineer bij LeaseWeb.

Dit artikel verscheen op 31 oktober 2013 op de blog van Leaseweb en is vanuit het Engels vertaald voor ISP Today.

Over Maurits van der Schee

Laatste artikelen