Gestern morgen war es mal wieder so weit:
Einige Webseiten unserer Kunden konnten zwar aufgerufen werden, sobald aber irgendetwas vom Server verlangt wurde, das nicht in kürzester Zeit abgearbeitet werden konnte, kam es zu Problemen.
Wir suchten das Problem zuerst auf unserer Seite. Zu finden war aber nichts – Ausser dass das Arbeiten via SSH auf dem betroffenen Server nicht möglich war, weil ca. alle 10-15 Sekunden die Verbindung unterbrochen wurde. Hektische Betriebssamkeit: Ein Fehler, der offensichtlich vorhanden, aber nicht einzugrenzen war.
Dementsprechend rebootete ich den Server im sogenannten “Rescue Modus”. In diesem Modus werden alle Netzdienste bis auf die Fernwartung deaktivert und es sollte möglich sein, den penetrant auftretenen Fehler einzugrenzen.
Aber auch hier: Fehlanzeige. Die Verbindungsabbrüche waren konstant vorhanden. Ein Effekt, der mit einem Netzwerkangriff zusammenhängt?
Um auch das Auszuschliessen, erweiterte ich die standardmässig aktive 1&1 Firewall und kapselte den Server komplett gegen Aussen ab, liess nur für unsere IP einen Tunnel offen. Fehlanzeige: Die Abbrüche blieben.
Für unsere Kunden: Das waren die Zeiten, in denen Ihr Server komplett nicht erreichbar war.
Leider konnte ich auch auf diesen Seiten keine Hinweise schreiben, da auch diese Seite auf einem betroffenen Server liegt.
Betroffen waren aber alle Services. Insbesondere E-Mail und FTP war, durch den Fehler bei 1&1, zwischenzeitlich überhaupt nicht möglich.
Der Fehler konnte von unserer Seite nicht eingegrenzt werden. So wandte ich mich per Mail an den Support der 1&1 Internet AG, bei denen unser Server gehostet wird.
Immerhin schon wenige Stunden später kam dann folgendes E-Mail:
Nach einem planmäßigen Router-Upgrade im Rechenzentrum Baden-Airpark kam es zu Netzwerk-Störungen bei Root-Servern mit aktivierter Firewall. Wir bemühen uns, diese Störungen schnellstmöglich zu beheben.
Sollten Sie Probleme bei der Erreichbarkeit bestimmter Dienste Ihres Root-Servers feststellen, empfehlen wir, die Firewall vörübergehend zu deaktivieren. Für die entstandenen Unannehmlichkeiten bitten wir um Entschuldigung.
So einfach war also die Lösung: Die Firewall deaktivieren und schon läuft wieder alles.
Damit der Server nicht ganz schutzlos dasteht, habe ich die interne Firewall aktiviert bis bei 1&1 die externe FW wieder vernünftig läuft.
Warum die es dort bei bekannten Problemen nicht schaffen, Ihre betroffenen Kunden zeitnah zu informieren, ist mir schleierhaft. Wir hätten das Problem innert weniger Minuten im Griff gehabt und hätte nicht Stundenlang im virtuellen Nebel stochern müssen. Auch so kann man Arbeitszeit effektiv vernichten.
Wir bitten unsere betroffenen Kunden jedenfalls stellvertretend um Entschuldigung für die entstandenen Probleme. E-Mails sollten keine verloren gegangen sein, bei mir sind mittlerweile die ausstehenden Mails eingetroffen.
