In de loop van zaterdag middag 21-1-2017 werd duidelijk dat er een ernstige storing was opgetreden in één van de ESX servers (zeg maar de hardware waar 10-tallen virtuele servers op draaien). De impact is groot maar lijkt naar de gebruikers toe minder erg. Meest in het oog springend is het wegvallen van het ticketing systeem (OTRS) en iets minder zichtbaar, de proxy server waardoor (web)servers zich niet meer zelf kunnen updaten.
Op de onderliggende pagina zal de actuele situatie bijgehouden worden.
Update 22:30:
Er is nieuwe hardware ingevlogen maar de raid controller herkent de configuratie niet meer.
Dat betekent dat alle virtuele servers die op deze hardware aanwezig waren nu verdwenen zijn. Er zijn geen gebruikersgegevens verloren gegaan, maar we zijn de redundancy op dit moment kwijt, en zullen server voor server de boel weer op moeten bouwen.
De gebruikers zullen hier niet veel van merken, maar er zullen wel diverse onderbrekingen kunnen plaatsvinden, bijvoorbeeld als we de database servers gaan dupliceren. Ook zullen we de stap om PHP 5 uit te faseren en over te stappen op PHP 7 met één week naar voren moeten halen, en per direct uit gaan voeren.
Update zondag 22/1 10:45:
De proxy server is weer beschikbaar. De webservers kunnen zichzelf weer updaten.
Update maandag 23/1 12:15:
De tweede storage server is opnieuw aangemaakt, op dit moment loopt de synchronisatie-slag.
Vanmiddag gaan we de database servers synchroniseren. Gedurende die synchronisatie zullen alle databases onbereikbaar zijn.
Update maandag 23/1 15:50:
De tweede database server is opnieuw gemaakt, de synchronisatie daarvan is afgerond.
Update dinsdag 24/1 09:15:
De acceptatie-LDAP server is opnieuw gemaakt.
Update donderdag 2/3:
De voor de gewone gebruiker zichtbare servers zijn allemaal hersteld. Het ticket systeem zal nog geheel opnieuw opgebouwd en ingericht moeten worden. Totdat dat afgerond is komen er geen 'ticket nummers' terug, als er een vraag aan wordt gesteld.
