Weinig grote problemen met schrikkelseconde

In de nacht van zaterdag op zondag werd er een schrikkelseconde aan de tijd toegevoegd. Dit had wereldwijd problemen met Linux-servers tot gevolg. Wij vroegen enkele Nederlandse hostingbedrijven wat zij van die speciale seconde hebben gemerkt.

Op tech-nieuwswebsites en Twitter werden machines met een te hoge CPU-belasting of crashende Linux-systemen gemeld. Er waren snel mogelijke oplossingen bekend. Zoals het tijdelijk uitschakelen van het Netwerk Tijd Protocol daemon en het draaien van een fix-script.

Ludo Baauw van Intermax Managed Hosting laat weten dat ze er helemaal klaar voor stonden. “We hebben eigenlijk vrij weinig last gehad. We hebben zaterdagavond onze centrale NTP-server uitgeschakeld om te voorkomen dat de ‘leap second’ ingevoerd zou worden op onze systemen. De enige die wel last gehad hebben zijn twee klanten die we snel geholpen hebben.”

“Eén klant had een OS wat niet affected zou mogen zijn, echter bleken MySQL en Java bij het invoegen van de leap second wel problemen te geven, na een reboot van de server was dit opgelost,” geeft Baauw aan. “De andere klant was unmanaged en gebruikte onze NTP-server dus niet, waardoor zij wel wat overlast hadden. Dit hebben we samen met hen opgelost, door hun redundante setup was dit zonder al teveel impact. Zondagavond is de NTP server weer ingeschakeld en zijn alle systemen langzaam bij gaan lopen zonder de ‘leap second’ in te voegen.”

“Er zijn bij ons en onze klanten eigenlijk alleen issues geweest met Java applicaties (TomCat) en MySQL,” vertelt Sander Smeenk, manager Unixbeheer van BIT. “De Java applicaties gingen ‘hangen’ en 100% CPU-time gebruiken. Er is voor zover ik weet niet door ons onderzocht wáárom het Java proces ging hangen (of waarop). Een aantal machines zijn gereboot om het probleem te verhelpen, want niet overal was het met een restart van de applicatie opgelost.

Smeenk geeft aan dat ook MySQL is de weg kwijt raakte. “Dit heeft met name impact gehad op master/slave setups omdat daar de slaving stuk ging. Het lijkt echt een bug in de Linux kernel te zijn waardoor een reboot in veel gevallen noodzakelijk was. De loop waar MySQL in zit is een ‘futex‘-lock loop. Mijn programmeerkennis gaat niet zó diep op dit gebied, maar futex-locks werken wel met een “realtime” timer om deadlocks enzovoort te voorkomen.

“Inmiddels hoor ik (van anderen) dat het zelf handmatig weer instellen van de tijd het probleem ook zou verhelpen,” laat Smeenk weten. “Dit alles heeft te maken met een ‘flag’ waar de kernel mee bij zou houden of er een leap second zou zijn ingevoerd. Het blijft ook voor ons nog wat onduidelijk wat er nou precies speelt. Setups bij ons die Ubuntu Hardy draaien, met een oudere kernel, lijken geen last te hebben gehad van deze ‘leap second’.”

Erik Hensema van HostingXS vertelt dat hun systemen over het algemeen niks van de schrikkelseconde hebben gemerkt. “De wereldwijde problemen van afgelopen weekend werden veroorzaakt door een bekende bug die reeds verholpen was in actuele Linux versies. Wij houden onze systemen zo goed mogelijk up-to-date waardoor de impact van de schrikkelseconde minimaal was. We hebben wel een crash in een klantsysteem opgemerkt die werkt met Cassandra, een databasesysteem geschreven in Java. Mogelijk dat dit veroorzaakt is door de schrikkelseconde. We hebben het systeem opnieuw opgestart voor de klant zodat hij er geen omkijken naar had.”

Dennis Wijnberg van Oxilion geeft aan dat er één server in de problemen kwam. “Vervelend. Het betrof een oude CentOS unmanaged server. Onze storingsdienst was extra alert en dit was dan ook met één reboot opgelost.”

Lennert den Teuling van PCExtreme heeft voor ons een vluchtige blik op hun monitoring geworpen. “Dit wees uit dat er geen rariteiten zijn waargenomen.”

Ook Henri Udding van AS Hosting geeft aan technisch geen problemen ondervonden te hebben. “Dit komt omdat na de schrikkelseconde de tijd automatisch is gesynchroniseerd middels NTP.”

Een verklaring van het probleem, inclusief een patch, is de lezen op: http://www.gossamer-threads.com/lists/linux/kernel/1559551.

Sinds de invoering van de schrikkelseconde in 1972 zijn er 25 schrikkelseconden aan de tijd toegevoegd. Deze aanpassing vindt in alle tijdzones tegelijk plaats, als het in Greenwich middernacht is, en is om het verschil in lengte tussen de gemiddelde zonnedag en de werkelijke dag in uren (24 uur) te corrigeren.

Over Redactie ISP Today

ISP Today is het Nederlandstalige platform voor de Internet Service Providers in Nederland. We presenteren nieuws van redactionele kwaliteit met relevantie voor de Nederlandse ISP community. Internet Service Providers en met name de mensen daarachter staan centraal op ISP Today.