Wat is de trend voor rack density?

Wanneer we het hebben over capaciteitsmanagement in het datacenter, is het aantal verbruikte Watt’s per rack een van de meest in het oog springende onderwerpen.

Jaren geleden was het gebruikelijk datacentra te bouwen die 1 tot 2 kW per rack aan koeling en elektra ondersteunde. De laatste jaren ligt de capaciteitsvraag eerder rond de 5-7kW per rack. Vijf jaar geleden was ik zelf betrokken bij een grootschalige uitrol van blade servers. De uitrol van dit soort systemen maakte aardig wat discussie los in de datacenter-sector waarbij sommigen claimden dat we allemaal 20+ kW racks zouden hebben binnen 5 jaar. Dit is uiteindelijk geen waarheid geworden, tenminste niet op grote schaal.

Wat is de trend in energie-afname per rack nu eigenlijk echt in de afgelopen jaren?
Lezers van mijn Nederlandse datacenter blog weten dat ik de trends rond de energievoorziening van servers en storage al enige jaren met interesse volg. Voor een hernieuwde analyse wilde ik de energieconsumptie van IT-systemen, met name servers, van de afgelopen 10 jaar in kaart brengen. Daarbij had ik uiteraard gebruik kunnen maken van de server hardware spec’s die te vinden zijn op het internet, maar de meeste server fabrikanten gebruiken zogenaamde ‘name-plate rating’ voor hun energieverbruik. Hier over schrijft Whitepaper #23 van The Green Grid terecht:

Regardless of how they are chosen, nameplate values are generally accepted as representing power consumption levels that exceed actual power consumption of equipment under normal usage. Therefore, these over-inflated values do not support realistic power prediction.

Ik ken het HP Proliant portfolio al enkele tientallen jaren als eindgebruiker erg goed en heb hun HP Power Calculator tool (nu: HP Power Advisor) met succes gebruikt. Deze rapporteert zowel de ‘name plate rating’ als de hoeveelheid energie die werkelijk wordt verbruikt bij diverse configuraties. Vanuit werkelijke metingen van diverse systemen weet ik dat deze cijfers niet heel veel afwijken van de werkelijkheid. Een aardig uitgangspunt om het onderzoek mee te starten.

Er werden 3 form factors geselecteerd:
1U servers (of pizzadoos servers)
Blade servers (enkel basic x86 systemen)
– Density Optimized servers. Deze worden door IDC als volgt beschreven:

…minimalist server designs that resemble blades in that they have skinny form factors but they take out all the extra stuff that hyperscale Web companies like Google and Amazon don’t want in their infrastructure machines because they have resiliency and scale built into their software stack and have redundant hardware and data throughout their clusters….These density-optimized machines usually put four server nodes in a 2U rack chassis or sometimes up to a dozen nodes in a 4U chassis and have processors, memory, a few disks, and some network ports and nothing else per node. [They may include low-power microprocessors].

Voor de 1U server koos ik de HP DL360. Bij de blade servers koos ik de HP BL20p (p-class) en de HP BL460c (c-class). De Density Optimized Server kon natuurlijk enkel de recent geïntroduceerde HP Moonschot (5U) server zijn.

Als server-configuratie-uitgangspunten nam ik:

  • Single power supply (geen redundancy) en platinum rated waneer beschikbaar;
  • Geen aditionele NIC’s < http://en.wikipedia.org/wiki/Network_interface_card> of andere modules;
  • Altijd de power optimized CPU en geheugen opties wanneer deze beschikbaar waren voor dat model, in het leveringsjaar;
  • Altijd de kleinste harddisk configuratie en een SSD < http://en.wikipedia.org/wiki/SSD> zodra deze beschikbaar was;
  • Bij de blade server enclosures:
    o Pass-through devices, dus geen actieve SAN/LAN switches in het enclosure
    o Geen redundantie in power modules & onboad management devices
    o C7000 enclosure voor c-class blades
    o Omrekenen: volledig gevuld enclosure met gewenste server type en configuratie naar de consumptive per 1 U.
  • Voor de release datum van de server werd de datum uit de Quickspec documentatie gebruikt;
  • Van elk type server werd de data gecollecteerd op 100%, 80% en 50% utilisatie.

Dit alles werd omgezet naar 1U energie gebruik voor de trend analyse. Het resulteert in de volgende tabel:

Server type Year CPU Core count CPU type RAM (GB) HD (GB) 100% Util (Watt for 1U) 80% Util(Watt for 1U) 50% Util(Watt for 1U)
HP BL20p 2002 1 2x Intel PIII 4 2x 36 328.00
HP DL360 2003 1 2x Intel PII 4 2x 18 176.00
HP DL360G3 2004 1 2x Intel Xeon 2,8Ghz 8 2x 36 360.00
HP BL20pG4 2006 1 2x Intel Xeon 5110 8 2x 36 400.00
HP BL460c G1 2006 4 2x Intel L5320 8 2x 36 397.60 368.80 325.90
HP DL360G5 2008 2 2x Intel L5240 8 2x 36 238.00 226.00 208.00
HP BL460c G5 2009 4 2x Intel L5430 8 2x 36 368.40 334.40 283.80
HP DL360G7 2011 4 2x Intel L5630 8 2x 60 SSD 157.00 145.00 128.00
HP BL460c G7 2011 6 2x Intel L5640 8 2x 120 SSD 354.40 323.90 278.40
HP BL460c Gen8 2012 6 2x Intel 2630L 8 2x 100 SSD 271.20 239.10 190.60
HP DL360e Gen8* 2013 6 2x Intel 2430L 8 2x 100 SSD 170.00 146.00 113.00
HP DL360p Gen8* 2013 6 2x Intel 2630L 8 2x 100 SSD 252.00 212.00 153.00
HP Moonshot 2013 2 Intel Atom S1260 8 1x 500 177.20 172.40 165.20

* HP splitste de DL360 in een uitgeklede versie (de ‘e’) en een uitgebreide versie (de ‘p’)

En dit alles in een grafiek:

power draw server trend

De grafiek toont een interessante piek rond 2004-2006. Daarna ging de energie afname per 1U omlaag. Dit is voornamelijk toe te kennen aan power optimized CPU’s van Intel en AMD en geheugen modules. Ook de introductie van Solid State Disks (SSD’s) leverde een zeer grote bijdrage.

Uiteraard zullen een hoop mensen nu beargumenteren dat:

  • De performance van meeste systemen taak specifiek is, zoals bij ARM/ATOM discussies…
  • En blade servers een hogere CPU per rack density leveren…
  • En sommige systemen meer performance leveren en soms zelfs meer performance per Watt…
  • Etc…

Het aardige is dat datacenter facility-mensen daar niets om geven. Voor hun gaat het om de energie afname per 1U en de trend. Met een afschrijftermijn van 10-15 jaar op gebouw faciliteiten zoals koelinstallaties, moet het datacenter in staat zijn om diverse refresch cycli van IT hardware te ondersteunen. Dat de IT mensen snellere CPU’s , geheugen en grotere disks krijgen is erg fijn en het is nog mooier als de performance per Watt ratio uitmuntend is, maar als de overall consumptie per rack omhoog gaat dan moet het datacenter dat wel kunnen ondersteunen.

Om wat perspectief te bieden op de density van CPU per rack, heb ik het aantal CPU cores versus het totaal aan energie-afname voor een 40U rack uiteen gezet:

power draw rack trend

Indrukwekkende cijfers: tussen de 240 en 720 CPU cores in een 40U hoog rack met apparatuur die vandaag de dag schikbaar is.

Nu is dit alles een mooie theoretische exercitie. Om bovenstaande hypothese te ondersteunen verzamelde ik het afgelopen half jaar energie afname gegevens bij drie grote ondernemingen; een hosting bedrijf (10.000+ servers), een verzekeraar (4000+ servers) en een overheidsorgaan (6000+ servers). Hierbij zaten systemen van Dell/IBM/HP/SuperMicro van 1-10 jaar oud. Deze gegevens werden gesorteerd in leeftijdsgroepen van 2003-2013, in de juiste form factors (1U, Blade en Density Optimized). Tevens werden de systemen gefilterd op configuraties die gelijkend waren aan de theoretische uitwerking (2 CPU, 2HD, 8GB RAM).
Hier uitbleek dat de werkelijke energie afname (op 100, 80, 50%) ongeveer 10-15% afweek maar de trend lijn exact gelijk bleef, vooral kijkend naar de form factor.

Ook de daling na de introductie van energy optimized componenten en SSD werd bevestigd, even als het feit dat de energie afname per 1U nu weer enigszins stijgt.

In het algemeen zien we een stijging van CPU cores per rack, welke ook een hogere energie afname per rack oplevert.

De glazen bol er bij;
De prijs van rekenkracht&opslag blijft dalen, vooral als men kijkt naar Amazon en Google;

Google and Microsoft have consistently been dropping prices over the past several months. In November, Google dropped storage prices by 20 percent. For AWS, the price drops are consistent with its strategy. AWS believes it can use its scale, purchasing power and deeper efficiencies in the management of its infrastructure to continue dropping prices. [Techcrunch]

Als je hierbij Jevons Paradox volgt, zorgt dit voor meer consumptie van rekenkracht en opslag. Al deze rekenkracht en opslag capaciteit moet worden uitgerold in datacenters rond de wereld. De laatste keer dat de IT-sector last had van groeipijnen op het scheidsvlak tussen IT en facilitair, leverde dit een acceleratie op in de ontwikkeling van blade servers zodat men de beschikbare fysieke ruimte beter kon uitnutten.

De huidige groeispurt heeft de ontwikkeling van de Density Optimized server versneld, welke een betere balans hebben tussen performance, fysieke ruimte en energie verbruik. Alle grote server leveranciers zetten hier op in en projecten zoals Open Compute versnellen deze ontwikkeling, waarbij men op dit moment een 66,4% omzet groei ziet in dit markt segment (jaar over jaar). Het marktaandeel van blade servers groeit ook nog steeds en is nu verantwoordelijk voor 16,3% van de totale server industrie omzet;

“Both types of modular form factors outperformed the overall server market, indicating customers are increasingly favoring specialization in their server designs” said Jed Scaramella, IDC research manager, Enterprise Servers “Density Optimized servers were positively impacted by the growth of service providers in the market. In addition to HPC, Cloud and IT service providers favor the highly efficient and scalable design of Density Optimized servers. Blade servers are being leveraged in enterprises’ virtualized and private cloud environments. IDC is observing an increased interest from the market for converged systems, which use blades as the building block. Enterprise IT organizations are viewing converged systems as a method to simplify management and increase their time to value.” [IDC]

De markt beweegt duidelijk richting het optimaliseren van rack ruimte, met Cloud providers die Density Optimized systemen uitrollen en Enterprise IT die blade systemen uitrollen. Daarbij zullen we een stijging zien in het aantal kW per rack met Density Optimized servers die op dit moment al op 8-10kW/rack zitten en blade servers van 12-16kW/rack (op 46U).

Er gaan uiteraard nog vele ‘normale’ rackmount servers verkocht worden zoals de 1U pizzadoos, maar de 2012- en 2013-modellen laten al zien dat het aantal Watt per 1U daar ook in de lift zit.

Voor datacenter-eigenaren betekend dit dat men meer energie en koeling per rack zal moeten leveren of racks (half) leeg moet laten en systemen uitspreiden over de vierkante meters. Op langere termijn is dit een financiële overweging: verbouwen van de huidige energie/koel installatie, uitbreiden van de locatie of soms zelf nieuwbouw. Daarbij spelen zaken als huidige leeftijd van het datacenter, afschrijf-termijnen, mogelijkheden in energie voorziening en bijvoorbeeld grond kosten.

Op de langere termijn volgen we de curve zoals Gartner deze in 2007 noteerde:

gartner trend

Met de markt op dit moment in de ‘drop’ fase (een beetje achter op de voorspelling in tijd) en de beweging richting de ‘increase’ fase.

Meer informatie:


Jan Wiersma is International Director EMEA bij non-profit organisatie Datacenter Pulse.

Dit artikel verscheen op 6 augustus 2013 in het Engels op datacenterpulse.org en is door de auteur zelf vertaald naar het Nederlands.