12-05-2015 Mailserver onderhoud (afgerond)
Dinsdag 12 mei willen we onderhoud plegen aan de mailserver.
Tussen 22:00 en 23:00 zal de service uit de lucht zijn.
Graag uw begrip hiervoor.
Update 13-05-2015 13:00: De geplande update van de ESX server bleek niet mogelijk, omdat de (externe) VMware update server niet beschikbaar was. We gaan vanavond om 22:00 uur een hernieuwde poging doen. Tussen 22:00 en 23:00 zal de mailserver uit de lucht zijn.
+-+
29-03-2015 Router problemen
Zondag 29-03-2015 viel de router rond 14:00 uur uit. We blijken te maken te hebben met een hardware storing (geheugenprobleem) op de hoofd router.
We hebben kans gezien de backup router aan te zetten en te configureren. Kort voor 15:00 uur was de dienstverlening hersteld.
Het is mogelijk dat we gedurende de avond 1 of meer keren opnieuw uit de lucht gaan.
+-+
24-03-2015 Router problemen (opgelost)
Dinsdag 24-03-2015 viel de router eind van de middag hardwarematig uit. Helaas liet de backup router ons ook in de steek. Door deze storing waren alle sites onbereikbaar.
Tijdens een bezoek aan onze hosting locatie hebben we 1 van deze routers opnieuw van firmware kunnen voorzien, waarna we de dienstverlening rond 23:00 uur weer konden herstellen. Op een later moment zullen we een nieuwe backup router plaatsen.
+-+
08-02-2015 Onderhoud fileservers (afgerond)
We gaan a.s. zondagavond (8 februari) rond 22:00 uur onderhoud aan onze fileservers uitvoeren. Hiervoor worden alle servers uitgeschakeld. Al onze diensten zullen zondagavond naar verwachting gedurende een periode van 2 tot 3 uur niet beschikbaar zijn.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
+-+
26-12-2014 12:00 - 16:00 Upgrade van de mailserver (afgerond)
Hoewel de huidige Ubuntu release nog wel even mee kan vinden we het toch tijd te upgraden naar de huidige LTS release.
Mail ophalan en verzenden via mail.hobby.nl zal niet werken. Mail die in deze periode wordt aangeboden gaat niet verloren maar wordt later afgeleverd. Mis je toch mail: vraag s.v.p. aan de verzender om een mail nogmaals aan te bieden.
Update 26-12-2014 17:00: De upgrade is grotendeels geslaagd. Helaas krijgen we de webclient Roundcube nog niet aan de gang. Voorlopig hebben we Squirrelmail, een andere webmail client. Deze is minimaal opgezet wat betekent dat er helaas geen adresboeken beschikbaar zijn. Er wordt aan gewerkt om (ook) weer Roundcube aan de gang te krijgen.
+-+
30-9-2014 23:00 Problemen met HTTPS sites (opgelost)
Op dit moment zijn er problemen met de HTTPS sites. We hebben het probleem in onderzoek.
Update 01-10-2014 02:30: De problemen zijn verholpen.
+-+
05-07-2014 Router en switches vervanging (afgerond)
We gaan zaterdag 5 juli de netwerk router dubbel uitvoeren. Ook gaan we nieuwe netwerk switches plaatsen. Omdat de huidige switches dubbel uitgevoerd zijn, verwachten we hier niet al teveel impact.
Daarnaast gaan we het werkgeheugen in de ESX servers aanpassen. Hiervoor zullen we beide ESX servers om en om uitzetten. Ook dit zal niet al te veel impact veroorzaken, omdat de essentiële sites eerst naar de server die aan blijft staan worden gemigreerd.
Update 14:00:De scp server lijkt down te zijn. Na het onderhoud lost dit zich vanzelf weer op.
Update 22:40:De scp server is weer up. We draaien momenteel niet redundant (dus op 1 ESX server), morgen gaan we de server die nu uit staat herconfigureren. Alle sites en diensten zijn operationeel.
+-+
23-01-2014 Storage server problemen (en mail problemen) (afgerond)
Na het onderhoud van gisteren blijkt dat de loadbalanced storage server problemen geeft. Side-effect is dat er vanwege deze storing geen inkomende mail aangepakt is. Ook diverse websites hadden last van een verstoring.
Update 10:25: We hebben het niet-werkende deel van de storage omgeving uitgeschakeld. Er wordt nu weer mail geaccepteerd, de webservers zijn allemaal weer functioneel.
Update 12:15: Vanavond rond 22:30 gaan we i.v.m. dit probleem een nieuwe fail-over test op de storage omgeving uitvoeren. Mogelijk heeft dit impact op de dienstverlening.
Update 23:10: De fail-over test wordt voor onbepaalde tijd uitgesteld.
+-+
22-01-2014 Onderhoud fileservers en vmware omgeving (afgerond)
We gaan a.s. woensdagavond rond 22:30 (22 januari) onderhoud aan onze fileserver uitvoeren en een upgrade van onze vmware omgeving uitvoeren, hiervoor worden alle servers uitgeschakeld.
Al onze diensten zullen woensdagavond naar verwachting gedurende een periode van 1 tot 2 uur niet beschikbaar zijn.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
+-+
18-11-2013 23:00 Netwerk apparatuur herstarten (afgerond)
De afgelopen dagen zijn er enkele problemen met de router geweest. Tijdens ons onderhoudsslot, tussen 23:00 en 00:30, gaan we de switches en de router rebooten. We verwachten dat er een minuut of 5 verstoring zal zijn van de dienstverlening.
Update 23:45: De reboot is afgerond. De systemen waren na enkele minuten weer bereikbaar.
+-+
15-11-2013 Websites down (opgelost)
Vannacht is er een probleem geweest met de scripting die onze user database over de verschillende servers verspreid. Daardoor zijn op dit moment alle websites onbereikbaar.
We hebben het probleem in onderzoek.
Update 10:25: Een verlopen certificaat heeft ons vannacht dwars gezeten. Alle sites lopen weer.
+-+
01-11-2013 16:50 Database server problemen (opgelost)
Op dit moment is er een verstoring aan de database servers. We hebben het probleem in onderzoek.
Update 17:05: We hebben het probleem gevonden, de database servers zijn weer bereikbaar.
+-+
01-10-2013 Ingelast onderhoud database servers (afgerond)
Om 14:00 uur gaan we noodonderhoud uitvoeren aan de database server. De database server zal vermoedelijk maximaal een half uur onbereikbaar zijn.
Update 15:10: Het noodonderhoud is afgerond.
+-+
25-08-2013 Onderhoud fileservers (afgerond)
We gaan zondagmiddag 25 augustus onderhoud aan onze fileservers uitvoeren, waartoe eerst alle servers uitgeschakeld worden. Al onze diensten zullen zondagmiddag naar verwachting gedurende een periode van 1 tot 2 uur niet beschikbaar zijn.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
Update 25-08-2013 15:00: Het onderhoud is afgerond.
+-+
29-05-2013 23:00 - 23:45 Onderhoud ns3.hobby.nl (afgerond)
Op 29 mei wordt aan ns3.hobby.nl, onze extern gehosted nameserver, onderhoud gepleegd door onze leverancier. Hierdoor zal deze nameserver ongeveer vijf minuten beperkt bereikbaar zijn. Onze beide andere nameservers zullen gedurende die periode normaal bereikbaar zijn. Dit onderhoud zal naar verwachting dan ook geen invloed hebben op de dienstverlening.
+-+
26-05-2013 23:00 - 23:45 Reboot switches (afgerond)
Op 26 mei zullen onze netwerk switches worden herstart in verband met een software update. Alle Hobbynet diensten zullen gedurende dit onderhoud enige tijd (ongeveer 5 tot 15 minuten) beperkt bereikbaar zijn.
Gedurende het onderhoud blijft www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
+-+
26-05-2013 02:25 - 11:20 Problemen met de mailserver
Afgelopen nacht is er tijdens de nachtelijke cronjob iets mis gegaan tijdens het bijwerken van de e-mail tabellen. Resultaat was dat de mailserver geen mail meer wenste aan te nemen voor onze gebruikers, maar daarbij aangaf dat de gebruiker niet zou bestaan.
Mail die in deze periode is aangeboden, is dus niet op de mailserver terecht gekomen. Mis je mail: vraag s.v.p. aan de verzender om een mail nogmaals aan te bieden.
+-+
08-05-2013 22:30 Groot onderhoud fileservers (afgerond)
We gaan aanstaande woensdag (8 mei) rond 22:30 uur onderhoud aan onze fileservers en onze ESX servers uitvoeren. Gedurende dit onderhoud zullen onze diensten niet of slechts deels beschikbaar zijn. Wij verwachten dat het onderhoud maximaal 2 uur gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
Update 09-05-2013 00:45: Het onderhoud is al enige tijd afgerond, alle sites en diensten draaien weer.
+-+
23-03-2013 Bereikbaarheid vanuit het UPC netwerk
We krijgen signalen dat onze servers niet bereikbaar zijn vanuit het UPC netwerk. Dat betekent dat (uitsluitend voor de UPC gebruikers) zowel www.hcc.nl, als ook de sites van diverse groeperingen door deze UPC storing getroffen worden.
UPC heeft dit probleem in onderzoek. Wij wachten op nadere informatie vanuit UPC.
Update 07-04-2013: De bereikbaarheid vanuit het UPC netwerk lijkt inmiddels weer normaal te zijn.
+-+
23-02-2013 12:00 Groot onderhoud 230V infrastructuur (afgerond)
We gaan aanstaande zaterdag (23 februari) tussen 12:00 uur en 17:00 uur groot onderhoud aan de 230V infrastructuur uitvoeren, waarbij alle servers uitgeschakeld worden. Al onze diensten zullen zaterdag naar verwachting gedurende een periode van 1 tot 2 uur niet beschikbaar zijn.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
Update 15:30: Het onderhoud is afgerond, alle sites en diensten draaien weer.
+-+
17-02-2013 12:00 Storing fileservers (opgelost)
Vanwege een probleem met de fileservers zijn op dit moment zijn alle servers down. We proberen nu om alle servers te rebooten om de sessies met de fileservers weer tot stand te brengen.
Update 12:50: We hebben zowel de fileservers, als vervolgens alle andere servers herstart. De servers zijn weer beschikbaar.
+-+
30-01-2013 23:00 Onderhoud fileservers (afgerond)
Woensdag 30 januari rond 23:00 uur gaan we onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen onze diensten niet beschikbaar zijn. Wij verwachten dat het onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
29-01-2013 15:00 Storing webservers (opgelost)
Sommige websites zijn op dit moment down. We hebben het probleem in onderzoek.
Update 17:10: We hebben een probleem gevonden in de scripting. De sites zijn weer aanwezig.
+-+
13-01-2013 22:30 PHP server problemen (opgelost)
Op dit moment zijn er problemen met de PHP servers. We hebben het probleem in onderzoek.
Update 14-01-2013 01:00: We hebben de PHP servers herbouwd, de dienstverlening is alweer enkele uren operationeel.
+-+
24-12-2012 23:00 Extra onderhoud - servers down (afgerond)
Vanwege een netwerk gerelateerd probleem lassen we voor vanavond 23:00 uur spoedonderhoud in. Omdat het een reparatie aan het centrale deel van het netwerk betreft. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat het onderhoud circa 60 minuten gaat duren.
Vanavond blijft in ieder geval www.hobby.nl continue operationeel. Eventuele problemen tijdens dit extra onderhoud zullen we via die site doorgeven.
+-+
19-12-2012 Onderhoud fileservers (afgerond)
We gaan woensdag 19 december rond 23:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
18-12-2012 12:20 Database connectie problemen (opgelost)
Er zijn op dit moment problemen met de database omgeving van de gebruikerssites. We hebben het probleem in onderzoek.
Update 13:20: Een kernel update was niet goed gegaan. Handmatig het proces afgerond. De databases draaien weer.
+-+
05-12-2012 Onderhoud fileservers (afgerond)
We gaan woensdag 5 december rond 23:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
16-11-2012 Storing netwerk switch (vervolg en afgerond)
Update 23:30 Switches zijn geconfigureerd, en we gaan ze nu vervangen. We hebben besloten het gehele serverpark hiervoor down te brengen.
Update 1:30 Servers zijn weer gestart alleen de mysql servers werken nog niet.
Update 2:22 Na een herstart van de firewalls zijn de mysql servers ook weer operationeel.
+-+
15-11-2012 Storing netwerk switch
De switch die ons gisteren in de steek liet, heeft vanmorgen rond 08:00 opnieuw voor problemen gezorgd. We onderzoeken momenteel de mogelijkheden om deze switch te vervangen.
Update 13:25: We hebben fiat van het hcc kantoor om 2 nieuwe netwerk switches te mogen plaatsen. Die gaan we straks afhalen en configureren, en we gaan de switches vanavond uitwisselen.
Wij gaan daarom vanavond vanaf 19:00 uur spoedonderhoud uitvoeren. Tijdens dit spoedonderhoud worden beide centrale switches vervangen door nieuwe exemplaren. Gedurende dit spoedonderhoud zullen diverse onderbrekingen plaats vinden.
+-+
14-11-2012 17:40 Storing database servers (opgelost)
Enkele databases zijn momenteel onbereikbaar. We hebben het probleem in onderzoek.
Update 17:50: Het probleem is gevonden, de databases zijn weer bereikbaar.
+-+
14-11-2012 05:00 Storing netwerk switch (opgelost)
Er is vanmorgen rond 05:00 uur een storing in een van de netwerk switches opgetreden. Dit heeft helaas tot verstoringen op de webservers geleid.
We hebben de switch rond 10:45 door onze hosting partner laten rebooten. De meeste sites lopen nu weer, maar zijn nog niet stabiel. We gaan de servers nu rebooten, om ze weer in een stabiele situatie te brengen.
Update 11:15: Alle servers zijn gereboot, en behoren nu weer in een stabiele situatie te zijn.
+-+
07-11-2012 Onderhoud fileservers (afgerond)
We gaan woensdag 7 november rond 23:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
02-10-2012 13:30 Mail server problemen (opgelost)
De mailserver lijkt momenteel niet goed te functioneren. Mail ophalen is op dit moment niet mogelijk.
Wij hebben het probleem in onderzoek.
Update 14:35: De oorzaak is achterhaald, mail kan weer opgehaald worden.
+-+
25-09-2012 Onderhoud mail server (afgerond)
We zijn voornemens op dinsdag 25 september tussen 09:00 en 14:00 onze mailserver te upgraden. Hierdoor zal er gedurende enkele uren geen mailverkeer mogelijk zijn. Inloggen op de mailserver om mail op te halen of af te leveren is ook niet mogelijk gedurende de upgrade. Mail verstuurd vanuit webservers is eveneens geblokkeerd. In principe gaat er geen mail van buiten verloren; het wordt alleen met vertraging afgeleverd. Indien U na het onderhoudswindow toch problemen met mail ondervindt, meldt dit dan a.u.b. via beheer@hobby.nl.
Update 14:00: Ophalen en versturen van mail is weer mogelijk (pop3/smtp).
De migratie van de webmail omgeving geeft onvoorziene problemen, we proberen die alsnog aan de praat te krijgen. Tot die tijd is het dus niet mogelijk om via webmail uw mail op te halen of aan te bieden.
Update 14:45: De migratie is afgerond. Ook de webmail omgeving is weer beschikbaar.
+-+
22-09-2012 Ingelast onderhoud storage servers (afgerond)
We gaan vannacht 22 september rond 24:00 uur spoed onderhoud aan onze fileservers uitvoeren, i.v.m. een ernstig veiligheids lek. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
+-+
21-09-2012 Onderhoud storage servers (afgerond)
We gaan vrijdagochtend 21 september rond 09:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
02-09-2012 Disken bijplaatsen in de servers (afgerond)
We gaan zondagmiddag 2 september rond 12:00 uur 's-middags disken bijplaatsen in onze servers. Dit zou in principe geen invloed op de dienstverlening moeten hebben, omdat de disken 'hot-swappable' zijn.
De mailserver zal enige tijd onbereikbaar zijn, net als de upload-server t.b.v. het onderhouden van de website. Uw website blijft naar verwachting de gehele periode normaal bereikbaar.
Mocht er echter toch een verstoring optreden in de dienstverlening, dan verwachten wij dat die maximaal 30 tot 60 minuten in beslag zal nemen.
Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
Update 11:30 wegens een wegafsluiting kan de Hobbynet vrijwilliger pas een half uur later on-site komen. Naar verwachting start de aktie nu om 12:30.
Update 13:50 enkele diensten zijn tijdelijk even down, maar alle webservers zijn actief.
Update 14:10 Alle diensten zijn weer actief.
+-+
15-08-2012 Onderhoud storage servers (afgerond)
We gaan woensdagochtend rond 09:00 uur extra onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze servers niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
05-08-2012 16:05 Netwerk storing hosting provider (opgelost)
Iets na 16:00 uur is er een grote netwerk verstoring geweest bij onze hosting provider. Nadat die verstoring na ca. 3 kwartier was opgelost, bleek dat we heel even onze servers weer konden bereiken, maar alles viel direct daarna weer uit.
Vervolgens is er een Hobbynet vrijwilliger on-site gegaan om te kijken wat er aan de hand kon zijn. Het bleek dat de 2 uplinks (de netwerk verbindingen van onze hosting provider naar onze netwerk switches) in korte tijd beiden zo vaak geklapperd hadden, dat de switches beide poorten als 'defect' uit had gezet. Na handmatig ingrijpen zijn de poorten weer geactiveerd, en zijn alle sites weer bereikbaar.
+-+
29-06-2012 11:45 Disk failure van de storage server (opgelost)
Er is een hardware storing opgetreden in een van de storage servers, waardoor de storage onbereikbaar geworden is. Alle diensten zijn hierdoor down gegaan.
We hebben tijdelijk de defecte server uitgezet, en zijn nu het serverpark opnieuw aan het opstarten vanaf de andere storage server.
Update 13:45 Alle diensten zijn al weer enige tijd volledig operationeel. We gaan nu een call uitzetten bij de hardware leverancier. Naar verwachting zal die de RAID controller gaan vervangen. Er is Hobbynet vrijwilliger onderweg om hem daarbij te assisteren.
Update 30-06-2012 14:00 De raid controller + cache van de raid controller zijn gisteravond vervangen, het blijkt dat bij de crash de complete disk inhoud verloren is gegaan. We hebben het systeem inmiddels van een vers OS voorzien, en zijn nu de inhoud aan het synchroniseren met de fallback server.
Update 30-6-2012 22:30 We gaan morgenochtend alle diensten down brengen, om de storage servers weer op de juiste manier met elkaar te kunnen laten praten. Alle diensten zullen tussen 09:00 en 10:00 uur onbereikbaar zijn.
Update 01-07-2012 11:30 Beide storage servers zijn gesynchroniseerd en kennen elkaar weer. Daarmee is het probleem opgelost.
+-+
15-06-2012 09:00 Onderhoud storage servers (afgerond)
We gaan vrijdagochtend 15 juni rond 09:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
+-+
Server updates 22-05-2012 (afgerond)
Dinsdag 22 mei zal rond 09:00 uur onderhoud gepleegd worden aan het serverpark. Gedurende die tijd verwachten we een of meer outages, van naar verwachting niet meer dan 15 - 30 minuten per server.
Gezien het feit dat bijna het gehele serverpark redundant is uitgevoerd zult u hier naar verwachting weinig van merken.
Enkele diensten zijn niet redundant uitgevoerd. Deze diensten zullen daarom korte tijd niet bereikbaar zijn:
* scp.hobby.nl (de server voor het uploaden van websites naar Hobbynet)
* mail.hobby.nl (de mail server van Hobbynet)
+-+
17-05-2012 21:00 Database problemen (opgelost)
We hebben vanavond (tijdens klein onderhoud) helaas een grote verstoring aan onze database server gehad. Hierdoor waren wij genoodzaakt een backup terug te zetten van woensdag 16-5 23:00 uur.
Morgen zullen wij tussen 10:00 en 12:00 uur spoed onderhoud plaats laten vinden.
Update: Het onderhoud heeft inmiddels plaatsgevonden.
+-+
15-05-2012 10:00 Mailserver problemen (opgelost)
Op dit moment hebben we helaas last van een grote spam-run. We onderzoeken de situatie.
Update 12:00 We hebben de bron van de spamrun kunnen achterhalen. De rust op de mailserver is nu teruggekeerd. We proberen side-effects zoveel mogelijk te beperken.
+-+
15-02-2012 Onderhoud storage servers (afgerond)
We gaan woensdagochtend rond 09:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende deze upgrade zullen al onze servers niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
+-+
13-02-2012 16:00 Mailserver performance (opgelost)
Vanwege technische problemen bij de (externe) anti-spam straat zal ook de Hobbynet mail afhandeling waarschijnlijk ernstig verstoord zijn. Wij vragen uw begrip voor deze situatie. De leverancier is onderweg naar zijn datacentrum om dit probeem op te lossen.
Update 16:50: De problemen bij de externe leverancier zijn opgelost, de performance is weer normaal.
+-+
04-02-2012 Extra database server onderhoud (afgerond)
Vanwege de onverwachte outage van vanmorgen lassen we vanavond rond 23:00 uur extra database-onderhoud in. Gedurende dat onderhoud is de database niet beschikbaar. Naar verwachting gaat dit 30 - 60 minuten duren.
+-+
04-02-2012 04:30 Ernstige koelingsproblemen bij de hosting provider, servers down (opgelost)
Door een storing in de koelapparatuur van onze hosting provider hebben alle servers zichzelf vanmorgen rond 04:30 uur preventief uitgezet. De koeling is inmiddels gerepareerd, de serverruimte is weer op een acceptabele temperatuur gekomen. Om ca. 09:00 uur hebben we kans gezien de servers weer op te starten.
+-+
27-01-2012 Onderhoud SCP en mail (afgerond)
Morgen 27-1 zal tussen 09:30 en 16:00 onderhoud plaats vinden aan de scp server (scp.hobby.nl), de server voor het uploaden van websites naar Hobbynet. Ook zal er onderhoud plaats vinden aan de mailserver. In het aangegeven tijdsvak zullen deze servers een half uur tot anderhalf uur niet bereikbaar zijn.
+-+
Server updates 25-01-2012 09:30 - 13:00 (afgerond)
Donderdag ochtend tussen 9:30 en 13:00 zal er onderhoud worden gepleegd aan de database servers in dbclus01-int.
Dit houdt in dat voor diverse websites de database voor meerdere malen 10 a 20 min niet bereikbaar is.
+-+
Onderhoud ubuntu-nl server 26-01-2012 (afgerond)
Donderdag zal de ubuntu-nl server voor 30 tot 90 min offline zijn. Het tijdstip is niet precies bekend dit ivm met andere groot onderhouds werkzaamheden. We streven er naar dat alles is afgerond voor 16:00.
Dit alles ivm onderhoud aan de onderliggende ESX server.
+-+
Server updates 24-01-2012
Tijdens het onderhoud van maandag zijn er enkele netwerk gerelateerde problemen boven water gekomen. In verband hiermee gaan we enkele servers herbouwen.
Tijdens het rebuilden van een server kan de dienstverlening van die server tijdelijk verstoord zijn. Onze excuses voor het ongemak.
+-+
Spoed Onderhoud 23-01-2012 (afgerond)
Vanavond (maandag) rond 22:00 uur wordt er spoedonderhoud gepleegd aan het serverpark wegens een recent bekend geworden kernel exploit. Gedurende die tijd verwachten we een of meer korte outages, van naar verwachting maximaal een paar minuten per server. De down time was +/- 20 min.
+-+
Onderhoud 21-01-2012 (afgerond)
Zaterdagavond 21-01-2012 rond 20:00 uur wordt er onderhoud gepleegd aan het serverpark. Gedurende die tijd verwachten we een of meer korte outages, van naar verwachting maximaal een paar minuten per server. De down time was +/- 20 min.
+-+
17-01-2012 23:30 Kadernet mailserver verstoring. (opgelost)
Sinds vanavond ca. 22:30 hebben we last van een storing in de mailserver die gebruikt wordt voor de kadernet mail accounts. We hebben het probleem in onderzoek.
Update 23:55: We hebben de user-database herladen, de server accepteert weer verzoeken van de gebruikers. We gaan morgen verder onderzoeken waar de storing door veroorzaakt is. De down time was +/- 20 min.
+-+
05-01-2012 Onderhoud storage servers (afgerond)
We gaan vandaag rond 22:00 onze fileservers upgraden. Gedurende deze upgrade kan enkele malen onze dienstverlening niet beschikbaar zijn. De down time was +/- 15 min.
+-+
30-12-2011 Distributed Denial of Service attack op het netwerk van onze netwerk leverancier (opgelost)
Sinds circa 12.19u vanmiddag vindt er een Distributed Denial of Service Attack (DDOS) plaats op een server van een klant van onze netwerk leverancier. Er word hierbij gepoogd om met zeer grote hoeveelheden dataverkeer de server onbereikbaar te maken.
De engineers van onze Leverancier zijn op dit moment bezig de aanval af te slaan.
(update)
De DDOS is sinds 12.43u onder controle en heeft met name overlast opgeleverd voor klanten die op dezelfde switch aangesloten zijn als de server die het doelwit was (de Hobbynet infrastructuur zit op een andere switch, wij hebben er dus niet zo veel last van gehad).
+-+
12-12-2011 Packetloss en daardoor vertragingen op ons netwerk. 11:31 (opgelost)
Op dit moment ondervindt onze netwerk leverancier problemen, daardoor is het mogelijk dat onze diensten trager werken dan u van ons gewend bent. Onze netwerk leverancier doet er alles aan om te zorgen dat dit probleem zo snel mogelijk wordt opgelost.
Als nog vragen heeft kunt u ons altijd mailen op beheer@hobby.nl
(update) 13:48
Onze netwerk leverancier heeft een probleem geconstateerd in het verkeer tussen een core-router en een core-switch. Het verbreken van de verbinding tussen die twee heeft echter niet geleid tot oplossing van de problemen. Onze leverancier doet er alles aan om dit probleem zo snel mogelijk op te lossen.
+-+
21-11-2011 Uitfasering mysql server db-int
Afgelopen weken hebben wij alle actieve databases verhuisd naar ons nieuwe database cluster.
Morgen (maandag 21-11-2011) zullen wij daarom ook de mysql server op de oude server stil zetten. Naar verwachting zal de hosting van de websites hier geen hinder van ondervinden.
Mocht u om een of andere reden toch problemen ondervinden kunt u contact opnemen met beheer@hobby.nl
+-+
14-11-2011 10:00 Groot server onderhoud (afgerond)
Het nachtelijk onderhoud dat we afgelopen dinsdag hebben uitgevoerd krijgt maandag 14 november een vervolg. We gaan dan enkele testen doen om er zeker van te zijn dat beide storage servers de juiste akties ondernemen in de situatie dat 1 van beide servers er mee stopt.
We gaan dit onderhoud maandag a.s. in de loop van de ochtend uitvoeren (vanaf ca. 10 uur). Dit betekent dat alle diensten (inclusief Hobbynet/kadernet mail) maandag vanaf 10 uur een tijd niet bereikbaar zullen zijn. Naar verwachting gaat de verstoring maximaal 2 uur duren.
Eventuele aanvullende informatie gedurende dit onderhoud kunt u lezen op www.hobby.nl (gedurende het onderhoud zal www.hobby.nl als enige dienst bereikbaar zijn).
+-+
8-11-2011 22:30 Filesysteem onderhoud (afgerond)
Op dinsdag 8 november zullen wij onderhoud plegen aan onze file server, dit in verband met de storing aan de fileserver op 1 november. We gaan dan een volledige filesystem check uitvoeren.
Gedurende dit onderhoud zullen al onze diensten 30 tot 90 minuten niet beschikbaar zijn.
Update :
Er zijn geen fouten gevonden tijdens de filesystem check.
+-+
1-11-2011 11:00 Disk storing (opgelost)
Momenteel zijn er storingen aan het filesysteem. Een van de storage servers is er grotendeels mee gestopt, maar omdat de server er niet helemaal mee gestopt is, lukt het overnemen door de andere server niet.
Update :
We hebben rond 13:00 uur de defecte storage server helemaal uit kunnen zetten, waardoor het overnemen door de andere storage server nu wel gelukt is. Alle sites zijn weer operationeel.
2-11-2011 9:45:
Het lijkt er op dat enkele servers last hebben van filesystem inconsistencies. We proberen overzicht over die servers te krijgen, en zullen daarna een filesystem check uit gaan voeren op die servers.
2-11-2011 12:00:
De servers zijn in kaart gebracht, de filesystem checks zijn uitgevoerd.
+-+
22-10-2011 Storing DNS server (opgelost)
Rond 22:30 is een probleem ontstaan met onze primaire DNS server, waarna wij besloten hebben deze server opnieuw te installeren. Dit heeft als gevolg gehad dat sommige sites mogelijk wat trager gereageerd hebben. Omstreeks 24:00 was de DNS dienst weer volledig hersteld.
+-+
24-10-2011 Netwerk onderhoud
Maandag 24 okt om 14.00 zal er een korte onderbreking van maximaal 1 minuut plaatsvinden in ons netwerk, in verband met het vergroten van onze bandbreedte voor HCC!digital.
+-+
29-09-2011 21:00 ESX server / netwerk configuratie (afgerond)
Na een netwerk aanpassing wil een van de ESX servers niet meer alle netwerken bedienen. Een reboot van de ESX server lijkt noodzakelijk om alle netwerken weer operationeel te krijgen.
We hebben de belangrijkste diensten overgezet naar de andere ESX server, en gaan de server rebooten. Gedurende deze periode zullen er enkele diensten onbereikbaar zijn.
Update 21:30: De reboot is gereed, alle diensten zijn weer bereikbaar.
+-+
18-09-2011 12:00 Fileserver migratie (afgerond)
We zijn bezig om de nieuwe hardware, die we vorige week in het rack geplaatst hebben, in gebruik te nemen. Dit houdt tevens het verplaatsen van de data van de servers in. Het is mogelijk dat een site hier gedurende enige tijd wat hinder van ondervindt.
+-+
14-09-2011 22:15 Scripting probleem - kadernet mail onbereikbaar (opgelost)
Er is iets fout gegaan tijdens het runnen van een script, waardoor de kadernet mail accounts op dit moment niet bereikbaar zijn (het wachtwoord wordt niet herkend). We hebben dit probleem in onderzoek.
Update 22:45:
Het probleem is gevonden, de mail doet het weer.
+-+
11-09-2011 9:30 Stroom storing (opgelost)
Tijdens het omprogrammeren van de powerswitch is er iets mis gegaan waardoor de router geen stroom meer krijgt.
Er is Hobbynet vrijwilliger onderweg om dit probleem op te lossen.
Update 14:00 uur
Alle poorten van de powerbar staan weer aan, alle diensten draaien weer. Om 12:40 kwam de laatste server weer in dienst.
+-+
10-09-2011 9:00 - 21:00 Hardware onderhoud (afgerond)
Zaterdag 10 september gaan we nieuwe hardware in ons rack hangen, en oude hardware verwijderen. Gedurende dit onderhoud zullen we de huidige hardware waarschijnlijk een of meerdere keren uit moeten zetten voor een periode van naar schatting maximaal een uur per keer.
We zullen proberen het aantal verstoringen tot een minimum te beperken. We streven er naar deze hardware aktie aan het eind van de middag afgerond te hebben.
Deze site hebben we met het oog op het geplande uitzetten van alle apparatuur vandaag elders gehost, zodat we u zo mogelijk kunnen informeren over de voortgang.
Update 10-09-2011 22:00
Alle servers zitten sinds ca. 20:00 uur weer in het rack.
+-+
08-09-2011 16:00 Power outage (opgelost)
Door een lokaal probleem met een powerbar heeft het hele rack vanmiddag spanning sloos gestaan. Dit betekent dat alle servers hard onderuit zijn gegaan.
Momenteel zijn we bezig om de servers per stuk weer op te starten.
Update 17:30: Inmiddels zijn alle servers al een uur stabiel. Dat betekent dat de verstoring die om 15:30 begon, om 16:30 opgelost was.
Vanavond rond 23:00 uur gaan we de fileserver nog een keer rebooten om een file systeem consistency check uit te voeren. Gedurende die check zullen de servers even onbereikbaar zijn (afgerond).
+-+
28-08-2011 22:15 ESX server onderhoud (afgerond)
Zondag 28-8-2011 zal er rond 22:15 onderhoud worden uitgevoerd aan onze ESX servers. De verwachtte downtime zal ongeveer 30 tot 45 min bedragen.
+-+
25-08-2011 Aanpassingen aan de Apache webservers
Wegens de vrijgave op de fulldisclosure list van een script om CVE-2011-3192 te misbruiken, hebben we een aanpassing gemaakt aan de webservers. Mogelijk heeft deze aanpassing invloed op het gedrag van een individuele website.
Neem in dat geval s.v.p. even contact op met beheer AT hobby PUNT nl, dan kunnen we Apache fine-tunen voor de betreffende site.
+-+
10-08-2011 Inbel dienst stop gezet
Per vandaag hebben we besloten onze inbel dienst stop te zetten. Uit onderzoek is gebleken dat van deze dienst nauwelijks gebruik wordt gemaakt en wij achten het daarom niet zinvol om deze dienst te continueren.
12-05-2015 Mailserver onderhoud (afgerond)
Dinsdag 12 mei willen we onderhoud plegen aan de mailserver.
Tussen 22:00 en 23:00 zal de service uit de lucht zijn.
Graag uw begrip hiervoor.
Update 13-05-2015 13:00: De geplande update van de ESX server bleek niet mogelijk, omdat de (externe) VMware update server niet beschikbaar was. We gaan vanavond om 22:00 uur een hernieuwde poging doen. Tussen 22:00 en 23:00 zal de mailserver uit de lucht zijn.
+-+
29-03-2015 Router problemen
Zondag 29-03-2015 viel de router rond 14:00 uur uit. We blijken te maken te hebben met een hardware storing (geheugenprobleem) op de hoofd router.
We hebben kans gezien de backup router aan te zetten en te configureren. Kort voor 15:00 uur was de dienstverlening hersteld.
Het is mogelijk dat we gedurende de avond 1 of meer keren opnieuw uit de lucht gaan.
+-+
24-03-2015 Router problemen (opgelost)
Dinsdag 24-03-2015 viel de router eind van de middag hardwarematig uit. Helaas liet de backup router ons ook in de steek. Door deze storing waren alle sites onbereikbaar.
Tijdens een bezoek aan onze hosting locatie hebben we 1 van deze routers opnieuw van firmware kunnen voorzien, waarna we de dienstverlening rond 23:00 uur weer konden herstellen. Op een later moment zullen we een nieuwe backup router plaatsen.
+-+
08-02-2015 Onderhoud fileservers (afgerond)
We gaan a.s. zondagavond (8 februari) rond 22:00 uur onderhoud aan onze fileservers uitvoeren. Hiervoor worden alle servers uitgeschakeld. Al onze diensten zullen zondagavond naar verwachting gedurende een periode van 2 tot 3 uur niet beschikbaar zijn.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
+-+
26-12-2014 12:00 - 16:00 Upgrade van de mailserver (afgerond)
Hoewel de huidige Ubuntu release nog wel even mee kan vinden we het toch tijd te upgraden naar de huidige LTS release.
Mail ophalan en verzenden via mail.hobby.nl zal niet werken. Mail die in deze periode wordt aangeboden gaat niet verloren maar wordt later afgeleverd. Mis je toch mail: vraag s.v.p. aan de verzender om een mail nogmaals aan te bieden.
Update 26-12-2014 17:00: De upgrade is grotendeels geslaagd. Helaas krijgen we de webclient Roundcube nog niet aan de gang. Voorlopig hebben we Squirrelmail, een andere webmail client. Deze is minimaal opgezet wat betekent dat er helaas geen adresboeken beschikbaar zijn. Er wordt aan gewerkt om (ook) weer Roundcube aan de gang te krijgen.
+-+
30-9-2014 23:00 Problemen met HTTPS sites (opgelost)
Op dit moment zijn er problemen met de HTTPS sites. We hebben het probleem in onderzoek.
Update 01-10-2014 02:30: De problemen zijn verholpen.
+-+
05-07-2014 Router en switches vervanging (afgerond)
We gaan zaterdag 5 juli de netwerk router dubbel uitvoeren. Ook gaan we nieuwe netwerk switches plaatsen. Omdat de huidige switches dubbel uitgevoerd zijn, verwachten we hier niet al teveel impact.
Daarnaast gaan we het werkgeheugen in de ESX servers aanpassen. Hiervoor zullen we beide ESX servers om en om uitzetten. Ook dit zal niet al te veel impact veroorzaken, omdat de essentiële sites eerst naar de server die aan blijft staan worden gemigreerd.
Update 14:00:De scp server lijkt down te zijn. Na het onderhoud lost dit zich vanzelf weer op.
Update 22:40:De scp server is weer up. We draaien momenteel niet redundant (dus op 1 ESX server), morgen gaan we de server die nu uit staat herconfigureren. Alle sites en diensten zijn operationeel.
+-+
23-01-2014 Storage server problemen (en mail problemen) (afgerond)
Na het onderhoud van gisteren blijkt dat de loadbalanced storage server problemen geeft. Side-effect is dat er vanwege deze storing geen inkomende mail aangepakt is. Ook diverse websites hadden last van een verstoring.
Update 10:25: We hebben het niet-werkende deel van de storage omgeving uitgeschakeld. Er wordt nu weer mail geaccepteerd, de webservers zijn allemaal weer functioneel.
Update 12:15: Vanavond rond 22:30 gaan we i.v.m. dit probleem een nieuwe fail-over test op de storage omgeving uitvoeren. Mogelijk heeft dit impact op de dienstverlening.
Update 23:10: De fail-over test wordt voor onbepaalde tijd uitgesteld.
+-+
22-01-2014 Onderhoud fileservers en vmware omgeving (afgerond)
We gaan a.s. woensdagavond rond 22:30 (22 januari) onderhoud aan onze fileserver uitvoeren en een upgrade van onze vmware omgeving uitvoeren, hiervoor worden alle servers uitgeschakeld.
Al onze diensten zullen woensdagavond naar verwachting gedurende een periode van 1 tot 2 uur niet beschikbaar zijn.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
+-+
18-11-2013 23:00 Netwerk apparatuur herstarten (afgerond)
De afgelopen dagen zijn er enkele problemen met de router geweest. Tijdens ons onderhoudsslot, tussen 23:00 en 00:30, gaan we de switches en de router rebooten. We verwachten dat er een minuut of 5 verstoring zal zijn van de dienstverlening.
Update 23:45: De reboot is afgerond. De systemen waren na enkele minuten weer bereikbaar.
+-+
15-11-2013 Websites down (opgelost)
Vannacht is er een probleem geweest met de scripting die onze user database over de verschillende servers verspreid. Daardoor zijn op dit moment alle websites onbereikbaar.
We hebben het probleem in onderzoek.
Update 10:25: Een verlopen certificaat heeft ons vannacht dwars gezeten. Alle sites lopen weer.
+-+
01-11-2013 16:50 Database server problemen (opgelost)
Op dit moment is er een verstoring aan de database servers. We hebben het probleem in onderzoek.
Update 17:05: We hebben het probleem gevonden, de database servers zijn weer bereikbaar.
+-+
01-10-2013 Ingelast onderhoud database servers (afgerond)
Om 14:00 uur gaan we noodonderhoud uitvoeren aan de database server. De database server zal vermoedelijk maximaal een half uur onbereikbaar zijn.
Update 15:10: Het noodonderhoud is afgerond.
+-+
25-08-2013 Onderhoud fileservers (afgerond)
We gaan zondagmiddag 25 augustus onderhoud aan onze fileservers uitvoeren, waartoe eerst alle servers uitgeschakeld worden. Al onze diensten zullen zondagmiddag naar verwachting gedurende een periode van 1 tot 2 uur niet beschikbaar zijn.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
Update 25-08-2013 15:00: Het onderhoud is afgerond.
+-+
29-05-2013 23:00 - 23:45 Onderhoud ns3.hobby.nl (afgerond)
Op 29 mei wordt aan ns3.hobby.nl, onze extern gehosted nameserver, onderhoud gepleegd door onze leverancier. Hierdoor zal deze nameserver ongeveer vijf minuten beperkt bereikbaar zijn. Onze beide andere nameservers zullen gedurende die periode normaal bereikbaar zijn. Dit onderhoud zal naar verwachting dan ook geen invloed hebben op de dienstverlening.
+-+
26-05-2013 23:00 - 23:45 Reboot switches (afgerond)
Op 26 mei zullen onze netwerk switches worden herstart in verband met een software update. Alle Hobbynet diensten zullen gedurende dit onderhoud enige tijd (ongeveer 5 tot 15 minuten) beperkt bereikbaar zijn.
Gedurende het onderhoud blijft www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
+-+
26-05-2013 02:25 - 11:20 Problemen met de mailserver
Afgelopen nacht is er tijdens de nachtelijke cronjob iets mis gegaan tijdens het bijwerken van de e-mail tabellen. Resultaat was dat de mailserver geen mail meer wenste aan te nemen voor onze gebruikers, maar daarbij aangaf dat de gebruiker niet zou bestaan.
Mail die in deze periode is aangeboden, is dus niet op de mailserver terecht gekomen. Mis je mail: vraag s.v.p. aan de verzender om een mail nogmaals aan te bieden.
+-+
08-05-2013 22:30 Groot onderhoud fileservers (afgerond)
We gaan aanstaande woensdag (8 mei) rond 22:30 uur onderhoud aan onze fileservers en onze ESX servers uitvoeren. Gedurende dit onderhoud zullen onze diensten niet of slechts deels beschikbaar zijn. Wij verwachten dat het onderhoud maximaal 2 uur gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
Update 09-05-2013 00:45: Het onderhoud is al enige tijd afgerond, alle sites en diensten draaien weer.
+-+
23-03-2013 Bereikbaarheid vanuit het UPC netwerk
We krijgen signalen dat onze servers niet bereikbaar zijn vanuit het UPC netwerk. Dat betekent dat (uitsluitend voor de UPC gebruikers) zowel www.hcc.nl, als ook de sites van diverse groeperingen door deze UPC storing getroffen worden.
UPC heeft dit probleem in onderzoek. Wij wachten op nadere informatie vanuit UPC.
Update 07-04-2013: De bereikbaarheid vanuit het UPC netwerk lijkt inmiddels weer normaal te zijn.
+-+
23-02-2013 12:00 Groot onderhoud 230V infrastructuur (afgerond)
We gaan aanstaande zaterdag (23 februari) tussen 12:00 uur en 17:00 uur groot onderhoud aan de 230V infrastructuur uitvoeren, waarbij alle servers uitgeschakeld worden. Al onze diensten zullen zaterdag naar verwachting gedurende een periode van 1 tot 2 uur niet beschikbaar zijn.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
Update 15:30: Het onderhoud is afgerond, alle sites en diensten draaien weer.
+-+
17-02-2013 12:00 Storing fileservers (opgelost)
Vanwege een probleem met de fileservers zijn op dit moment zijn alle servers down. We proberen nu om alle servers te rebooten om de sessies met de fileservers weer tot stand te brengen.
Update 12:50: We hebben zowel de fileservers, als vervolgens alle andere servers herstart. De servers zijn weer beschikbaar.
+-+
30-01-2013 23:00 Onderhoud fileservers (afgerond)
Woensdag 30 januari rond 23:00 uur gaan we onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen onze diensten niet beschikbaar zijn. Wij verwachten dat het onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
29-01-2013 15:00 Storing webservers (opgelost)
Sommige websites zijn op dit moment down. We hebben het probleem in onderzoek.
Update 17:10: We hebben een probleem gevonden in de scripting. De sites zijn weer aanwezig.
+-+
13-01-2013 22:30 PHP server problemen (opgelost)
Op dit moment zijn er problemen met de PHP servers. We hebben het probleem in onderzoek.
Update 14-01-2013 01:00: We hebben de PHP servers herbouwd, de dienstverlening is alweer enkele uren operationeel.
+-+
24-12-2012 23:00 Extra onderhoud - servers down (afgerond)
Vanwege een netwerk gerelateerd probleem lassen we voor vanavond 23:00 uur spoedonderhoud in. Omdat het een reparatie aan het centrale deel van het netwerk betreft. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat het onderhoud circa 60 minuten gaat duren.
Vanavond blijft in ieder geval www.hobby.nl continue operationeel. Eventuele problemen tijdens dit extra onderhoud zullen we via die site doorgeven.
+-+
19-12-2012 Onderhoud fileservers (afgerond)
We gaan woensdag 19 december rond 23:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
18-12-2012 12:20 Database connectie problemen (opgelost)
Er zijn op dit moment problemen met de database omgeving van de gebruikerssites. We hebben het probleem in onderzoek.
Update 13:20: Een kernel update was niet goed gegaan. Handmatig het proces afgerond. De databases draaien weer.
+-+
05-12-2012 Onderhoud fileservers (afgerond)
We gaan woensdag 5 december rond 23:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
16-11-2012 Storing netwerk switch (vervolg en afgerond)
Update 23:30 Switches zijn geconfigureerd, en we gaan ze nu vervangen. We hebben besloten het gehele serverpark hiervoor down te brengen.
Update 1:30 Servers zijn weer gestart alleen de mysql servers werken nog niet.
Update 2:22 Na een herstart van de firewalls zijn de mysql servers ook weer operationeel.
+-+
15-11-2012 Storing netwerk switch
De switch die ons gisteren in de steek liet, heeft vanmorgen rond 08:00 opnieuw voor problemen gezorgd. We onderzoeken momenteel de mogelijkheden om deze switch te vervangen.
Update 13:25: We hebben fiat van het hcc kantoor om 2 nieuwe netwerk switches te mogen plaatsen. Die gaan we straks afhalen en configureren, en we gaan de switches vanavond uitwisselen.
Wij gaan daarom vanavond vanaf 19:00 uur spoedonderhoud uitvoeren. Tijdens dit spoedonderhoud worden beide centrale switches vervangen door nieuwe exemplaren. Gedurende dit spoedonderhoud zullen diverse onderbrekingen plaats vinden.
+-+
14-11-2012 17:40 Storing database servers (opgelost)
Enkele databases zijn momenteel onbereikbaar. We hebben het probleem in onderzoek.
Update 17:50: Het probleem is gevonden, de databases zijn weer bereikbaar.
+-+
14-11-2012 05:00 Storing netwerk switch (opgelost)
Er is vanmorgen rond 05:00 uur een storing in een van de netwerk switches opgetreden. Dit heeft helaas tot verstoringen op de webservers geleid.
We hebben de switch rond 10:45 door onze hosting partner laten rebooten. De meeste sites lopen nu weer, maar zijn nog niet stabiel. We gaan de servers nu rebooten, om ze weer in een stabiele situatie te brengen.
Update 11:15: Alle servers zijn gereboot, en behoren nu weer in een stabiele situatie te zijn.
+-+
07-11-2012 Onderhoud fileservers (afgerond)
We gaan woensdag 7 november rond 23:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
02-10-2012 13:30 Mail server problemen (opgelost)
De mailserver lijkt momenteel niet goed te functioneren. Mail ophalen is op dit moment niet mogelijk.
Wij hebben het probleem in onderzoek.
Update 14:35: De oorzaak is achterhaald, mail kan weer opgehaald worden.
+-+
25-09-2012 Onderhoud mail server (afgerond)
We zijn voornemens op dinsdag 25 september tussen 09:00 en 14:00 onze mailserver te upgraden. Hierdoor zal er gedurende enkele uren geen mailverkeer mogelijk zijn. Inloggen op de mailserver om mail op te halen of af te leveren is ook niet mogelijk gedurende de upgrade. Mail verstuurd vanuit webservers is eveneens geblokkeerd. In principe gaat er geen mail van buiten verloren; het wordt alleen met vertraging afgeleverd. Indien U na het onderhoudswindow toch problemen met mail ondervindt, meldt dit dan a.u.b. via beheer@hobby.nl.
Update 14:00: Ophalen en versturen van mail is weer mogelijk (pop3/smtp).
De migratie van de webmail omgeving geeft onvoorziene problemen, we proberen die alsnog aan de praat te krijgen. Tot die tijd is het dus niet mogelijk om via webmail uw mail op te halen of aan te bieden.
Update 14:45: De migratie is afgerond. Ook de webmail omgeving is weer beschikbaar.
+-+
22-09-2012 Ingelast onderhoud storage servers (afgerond)
We gaan vannacht 22 september rond 24:00 uur spoed onderhoud aan onze fileservers uitvoeren, i.v.m. een ernstig veiligheids lek. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
+-+
21-09-2012 Onderhoud storage servers (afgerond)
We gaan vrijdagochtend 21 september rond 09:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
02-09-2012 Disken bijplaatsen in de servers (afgerond)
We gaan zondagmiddag 2 september rond 12:00 uur 's-middags disken bijplaatsen in onze servers. Dit zou in principe geen invloed op de dienstverlening moeten hebben, omdat de disken 'hot-swappable' zijn.
De mailserver zal enige tijd onbereikbaar zijn, net als de upload-server t.b.v. het onderhouden van de website. Uw website blijft naar verwachting de gehele periode normaal bereikbaar.
Mocht er echter toch een verstoring optreden in de dienstverlening, dan verwachten wij dat die maximaal 30 tot 60 minuten in beslag zal nemen.
Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
Update 11:30 wegens een wegafsluiting kan de Hobbynet vrijwilliger pas een half uur later on-site komen. Naar verwachting start de aktie nu om 12:30.
Update 13:50 enkele diensten zijn tijdelijk even down, maar alle webservers zijn actief.
Update 14:10 Alle diensten zijn weer actief.
+-+
15-08-2012 Onderhoud storage servers (afgerond)
We gaan woensdagochtend rond 09:00 uur extra onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze servers niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via deze site doorgeven.
+-+
05-08-2012 16:05 Netwerk storing hosting provider (opgelost)
Iets na 16:00 uur is er een grote netwerk verstoring geweest bij onze hosting provider. Nadat die verstoring na ca. 3 kwartier was opgelost, bleek dat we heel even onze servers weer konden bereiken, maar alles viel direct daarna weer uit.
Vervolgens is er een Hobbynet vrijwilliger on-site gegaan om te kijken wat er aan de hand kon zijn. Het bleek dat de 2 uplinks (de netwerk verbindingen van onze hosting provider naar onze netwerk switches) in korte tijd beiden zo vaak geklapperd hadden, dat de switches beide poorten als 'defect' uit had gezet. Na handmatig ingrijpen zijn de poorten weer geactiveerd, en zijn alle sites weer bereikbaar.
+-+
29-06-2012 11:45 Disk failure van de storage server (opgelost)
Er is een hardware storing opgetreden in een van de storage servers, waardoor de storage onbereikbaar geworden is. Alle diensten zijn hierdoor down gegaan.
We hebben tijdelijk de defecte server uitgezet, en zijn nu het serverpark opnieuw aan het opstarten vanaf de andere storage server.
Update 13:45 Alle diensten zijn al weer enige tijd volledig operationeel. We gaan nu een call uitzetten bij de hardware leverancier. Naar verwachting zal die de RAID controller gaan vervangen. Er is Hobbynet vrijwilliger onderweg om hem daarbij te assisteren.
Update 30-06-2012 14:00 De raid controller + cache van de raid controller zijn gisteravond vervangen, het blijkt dat bij de crash de complete disk inhoud verloren is gegaan. We hebben het systeem inmiddels van een vers OS voorzien, en zijn nu de inhoud aan het synchroniseren met de fallback server.
Update 30-6-2012 22:30 We gaan morgenochtend alle diensten down brengen, om de storage servers weer op de juiste manier met elkaar te kunnen laten praten. Alle diensten zullen tussen 09:00 en 10:00 uur onbereikbaar zijn.
Update 01-07-2012 11:30 Beide storage servers zijn gesynchroniseerd en kennen elkaar weer. Daarmee is het probleem opgelost.
+-+
15-06-2012 09:00 Onderhoud storage servers (afgerond)
We gaan vrijdagochtend 15 juni rond 09:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende dit onderhoud zullen al onze diensten niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
Gedurende het onderhoud blijft uitsluitend www.hobby.nl operationeel. Eventuele voortgangsmeldingen zullen we via die site doorgeven.
+-+
Server updates 22-05-2012 (afgerond)
Dinsdag 22 mei zal rond 09:00 uur onderhoud gepleegd worden aan het serverpark. Gedurende die tijd verwachten we een of meer outages, van naar verwachting niet meer dan 15 - 30 minuten per server.
Gezien het feit dat bijna het gehele serverpark redundant is uitgevoerd zult u hier naar verwachting weinig van merken.
Enkele diensten zijn niet redundant uitgevoerd. Deze diensten zullen daarom korte tijd niet bereikbaar zijn:
* scp.hobby.nl (de server voor het uploaden van websites naar Hobbynet)
* mail.hobby.nl (de mail server van Hobbynet)
+-+
17-05-2012 21:00 Database problemen (opgelost)
We hebben vanavond (tijdens klein onderhoud) helaas een grote verstoring aan onze database server gehad. Hierdoor waren wij genoodzaakt een backup terug te zetten van woensdag 16-5 23:00 uur.
Morgen zullen wij tussen 10:00 en 12:00 uur spoed onderhoud plaats laten vinden.
Update: Het onderhoud heeft inmiddels plaatsgevonden.
+-+
15-05-2012 10:00 Mailserver problemen (opgelost)
Op dit moment hebben we helaas last van een grote spam-run. We onderzoeken de situatie.
Update 12:00 We hebben de bron van de spamrun kunnen achterhalen. De rust op de mailserver is nu teruggekeerd. We proberen side-effects zoveel mogelijk te beperken.
+-+
15-02-2012 Onderhoud storage servers (afgerond)
We gaan woensdagochtend rond 09:00 uur onderhoud aan onze fileservers uitvoeren. Gedurende deze upgrade zullen al onze servers niet beschikbaar zijn. Wij verwachten dat dit onderhoud 30 tot 60 minuten gaat duren.
+-+
13-02-2012 16:00 Mailserver performance (opgelost)
Vanwege technische problemen bij de (externe) anti-spam straat zal ook de Hobbynet mail afhandeling waarschijnlijk ernstig verstoord zijn. Wij vragen uw begrip voor deze situatie. De leverancier is onderweg naar zijn datacentrum om dit probeem op te lossen.
Update 16:50: De problemen bij de externe leverancier zijn opgelost, de performance is weer normaal.
+-+
04-02-2012 Extra database server onderhoud (afgerond)
Vanwege de onverwachte outage van vanmorgen lassen we vanavond rond 23:00 uur extra database-onderhoud in. Gedurende dat onderhoud is de database niet beschikbaar. Naar verwachting gaat dit 30 - 60 minuten duren.
+-+
04-02-2012 04:30 Ernstige koelingsproblemen bij de hosting provider, servers down (opgelost)
Door een storing in de koelapparatuur van onze hosting provider hebben alle servers zichzelf vanmorgen rond 04:30 uur preventief uitgezet. De koeling is inmiddels gerepareerd, de serverruimte is weer op een acceptabele temperatuur gekomen. Om ca. 09:00 uur hebben we kans gezien de servers weer op te starten.
+-+
27-01-2012 Onderhoud SCP en mail (afgerond)
Morgen 27-1 zal tussen 09:30 en 16:00 onderhoud plaats vinden aan de scp server (scp.hobby.nl), de server voor het uploaden van websites naar Hobbynet. Ook zal er onderhoud plaats vinden aan de mailserver. In het aangegeven tijdsvak zullen deze servers een half uur tot anderhalf uur niet bereikbaar zijn.
+-+
Server updates 25-01-2012 09:30 - 13:00 (afgerond)
Donderdag ochtend tussen 9:30 en 13:00 zal er onderhoud worden gepleegd aan de database servers in dbclus01-int.
Dit houdt in dat voor diverse websites de database voor meerdere malen 10 a 20 min niet bereikbaar is.
+-+
Onderhoud ubuntu-nl server 26-01-2012 (afgerond)
Donderdag zal de ubuntu-nl server voor 30 tot 90 min offline zijn. Het tijdstip is niet precies bekend dit ivm met andere groot onderhouds werkzaamheden. We streven er naar dat alles is afgerond voor 16:00.
Dit alles ivm onderhoud aan de onderliggende ESX server.
+-+
Server updates 24-01-2012
Tijdens het onderhoud van maandag zijn er enkele netwerk gerelateerde problemen boven water gekomen. In verband hiermee gaan we enkele servers herbouwen.
Tijdens het rebuilden van een server kan de dienstverlening van die server tijdelijk verstoord zijn. Onze excuses voor het ongemak.
+-+
Spoed Onderhoud 23-01-2012 (afgerond)
Vanavond (maandag) rond 22:00 uur wordt er spoedonderhoud gepleegd aan het serverpark wegens een recent bekend geworden kernel exploit. Gedurende die tijd verwachten we een of meer korte outages, van naar verwachting maximaal een paar minuten per server. De down time was +/- 20 min.
+-+
Onderhoud 21-01-2012 (afgerond)
Zaterdagavond 21-01-2012 rond 20:00 uur wordt er onderhoud gepleegd aan het serverpark. Gedurende die tijd verwachten we een of meer korte outages, van naar verwachting maximaal een paar minuten per server. De down time was +/- 20 min.
+-+
17-01-2012 23:30 Kadernet mailserver verstoring. (opgelost)
Sinds vanavond ca. 22:30 hebben we last van een storing in de mailserver die gebruikt wordt voor de kadernet mail accounts. We hebben het probleem in onderzoek.
Update 23:55: We hebben de user-database herladen, de server accepteert weer verzoeken van de gebruikers. We gaan morgen verder onderzoeken waar de storing door veroorzaakt is. De down time was +/- 20 min.
+-+
05-01-2012 Onderhoud storage servers (afgerond)
We gaan vandaag rond 22:00 onze fileservers upgraden. Gedurende deze upgrade kan enkele malen onze dienstverlening niet beschikbaar zijn. De down time was +/- 15 min.
+-+
30-12-2011 Distributed Denial of Service attack op het netwerk van onze netwerk leverancier (opgelost)
Sinds circa 12.19u vanmiddag vindt er een Distributed Denial of Service Attack (DDOS) plaats op een server van een klant van onze netwerk leverancier. Er word hierbij gepoogd om met zeer grote hoeveelheden dataverkeer de server onbereikbaar te maken.
De engineers van onze Leverancier zijn op dit moment bezig de aanval af te slaan.
(update)
De DDOS is sinds 12.43u onder controle en heeft met name overlast opgeleverd voor klanten die op dezelfde switch aangesloten zijn als de server die het doelwit was (de Hobbynet infrastructuur zit op een andere switch, wij hebben er dus niet zo veel last van gehad).
+-+
12-12-2011 Packetloss en daardoor vertragingen op ons netwerk. 11:31 (opgelost)
Op dit moment ondervindt onze netwerk leverancier problemen, daardoor is het mogelijk dat onze diensten trager werken dan u van ons gewend bent. Onze netwerk leverancier doet er alles aan om te zorgen dat dit probleem zo snel mogelijk wordt opgelost.
Als nog vragen heeft kunt u ons altijd mailen op beheer@hobby.nl
(update) 13:48
Onze netwerk leverancier heeft een probleem geconstateerd in het verkeer tussen een core-router en een core-switch. Het verbreken van de verbinding tussen die twee heeft echter niet geleid tot oplossing van de problemen. Onze leverancier doet er alles aan om dit probleem zo snel mogelijk op te lossen.
+-+
21-11-2011 Uitfasering mysql server db-int
Afgelopen weken hebben wij alle actieve databases verhuisd naar ons nieuwe database cluster.
Morgen (maandag 21-11-2011) zullen wij daarom ook de mysql server op de oude server stil zetten. Naar verwachting zal de hosting van de websites hier geen hinder van ondervinden.
Mocht u om een of andere reden toch problemen ondervinden kunt u contact opnemen met beheer@hobby.nl
+-+
14-11-2011 10:00 Groot server onderhoud (afgerond)
Het nachtelijk onderhoud dat we afgelopen dinsdag hebben uitgevoerd krijgt maandag 14 november een vervolg. We gaan dan enkele testen doen om er zeker van te zijn dat beide storage servers de juiste akties ondernemen in de situatie dat 1 van beide servers er mee stopt.
We gaan dit onderhoud maandag a.s. in de loop van de ochtend uitvoeren (vanaf ca. 10 uur). Dit betekent dat alle diensten (inclusief Hobbynet/kadernet mail) maandag vanaf 10 uur een tijd niet bereikbaar zullen zijn. Naar verwachting gaat de verstoring maximaal 2 uur duren.
Eventuele aanvullende informatie gedurende dit onderhoud kunt u lezen op www.hobby.nl (gedurende het onderhoud zal www.hobby.nl als enige dienst bereikbaar zijn).
+-+
8-11-2011 22:30 Filesysteem onderhoud (afgerond)
Op dinsdag 8 november zullen wij onderhoud plegen aan onze file server, dit in verband met de storing aan de fileserver op 1 november. We gaan dan een volledige filesystem check uitvoeren.
Gedurende dit onderhoud zullen al onze diensten 30 tot 90 minuten niet beschikbaar zijn.
Update :
Er zijn geen fouten gevonden tijdens de filesystem check.
+-+
1-11-2011 11:00 Disk storing (opgelost)
Momenteel zijn er storingen aan het filesysteem. Een van de storage servers is er grotendeels mee gestopt, maar omdat de server er niet helemaal mee gestopt is, lukt het overnemen door de andere server niet.
Update :
We hebben rond 13:00 uur de defecte storage server helemaal uit kunnen zetten, waardoor het overnemen door de andere storage server nu wel gelukt is. Alle sites zijn weer operationeel.
2-11-2011 9:45:
Het lijkt er op dat enkele servers last hebben van filesystem inconsistencies. We proberen overzicht over die servers te krijgen, en zullen daarna een filesystem check uit gaan voeren op die servers.
2-11-2011 12:00:
De servers zijn in kaart gebracht, de filesystem checks zijn uitgevoerd.
+-+
22-10-2011 Storing DNS server (opgelost)
Rond 22:30 is een probleem ontstaan met onze primaire DNS server, waarna wij besloten hebben deze server opnieuw te installeren. Dit heeft als gevolg gehad dat sommige sites mogelijk wat trager gereageerd hebben. Omstreeks 24:00 was de DNS dienst weer volledig hersteld.
+-+
24-10-2011 Netwerk onderhoud
Maandag 24 okt om 14.00 zal er een korte onderbreking van maximaal 1 minuut plaatsvinden in ons netwerk, in verband met het vergroten van onze bandbreedte voor HCC!digital.
+-+
29-09-2011 21:00 ESX server / netwerk configuratie (afgerond)
Na een netwerk aanpassing wil een van de ESX servers niet meer alle netwerken bedienen. Een reboot van de ESX server lijkt noodzakelijk om alle netwerken weer operationeel te krijgen.
We hebben de belangrijkste diensten overgezet naar de andere ESX server, en gaan de server rebooten. Gedurende deze periode zullen er enkele diensten onbereikbaar zijn.
Update 21:30: De reboot is gereed, alle diensten zijn weer bereikbaar.
+-+
18-09-2011 12:00 Fileserver migratie (afgerond)
We zijn bezig om de nieuwe hardware, die we vorige week in het rack geplaatst hebben, in gebruik te nemen. Dit houdt tevens het verplaatsen van de data van de servers in. Het is mogelijk dat een site hier gedurende enige tijd wat hinder van ondervindt.
+-+
14-09-2011 22:15 Scripting probleem - kadernet mail onbereikbaar (opgelost)
Er is iets fout gegaan tijdens het runnen van een script, waardoor de kadernet mail accounts op dit moment niet bereikbaar zijn (het wachtwoord wordt niet herkend). We hebben dit probleem in onderzoek.
Update 22:45:
Het probleem is gevonden, de mail doet het weer.
+-+
11-09-2011 9:30 Stroom storing (opgelost)
Tijdens het omprogrammeren van de powerswitch is er iets mis gegaan waardoor de router geen stroom meer krijgt.
Er is Hobbynet vrijwilliger onderweg om dit probleem op te lossen.
Update 14:00 uur
Alle poorten van de powerbar staan weer aan, alle diensten draaien weer. Om 12:40 kwam de laatste server weer in dienst.
+-+
10-09-2011 9:00 - 21:00 Hardware onderhoud (afgerond)
Zaterdag 10 september gaan we nieuwe hardware in ons rack hangen, en oude hardware verwijderen. Gedurende dit onderhoud zullen we de huidige hardware waarschijnlijk een of meerdere keren uit moeten zetten voor een periode van naar schatting maximaal een uur per keer.
We zullen proberen het aantal verstoringen tot een minimum te beperken. We streven er naar deze hardware aktie aan het eind van de middag afgerond te hebben.
Deze site hebben we met het oog op het geplande uitzetten van alle apparatuur vandaag elders gehost, zodat we u zo mogelijk kunnen informeren over de voortgang.
Update 10-09-2011 22:00
Alle servers zitten sinds ca. 20:00 uur weer in het rack.
+-+
08-09-2011 16:00 Power outage (opgelost)
Door een lokaal probleem met een powerbar heeft het hele rack vanmiddag spanning sloos gestaan. Dit betekent dat alle servers hard onderuit zijn gegaan.
Momenteel zijn we bezig om de servers per stuk weer op te starten.
Update 17:30: Inmiddels zijn alle servers al een uur stabiel. Dat betekent dat de verstoring die om 15:30 begon, om 16:30 opgelost was.
Vanavond rond 23:00 uur gaan we de fileserver nog een keer rebooten om een file systeem consistency check uit te voeren. Gedurende die check zullen de servers even onbereikbaar zijn (afgerond).
+-+
28-08-2011 22:15 ESX server onderhoud (afgerond)
Zondag 28-8-2011 zal er rond 22:15 onderhoud worden uitgevoerd aan onze ESX servers. De verwachtte downtime zal ongeveer 30 tot 45 min bedragen.
+-+
25-08-2011 Aanpassingen aan de Apache webservers
Wegens de vrijgave op de fulldisclosure list van een script om CVE-2011-3192 te misbruiken, hebben we een aanpassing gemaakt aan de webservers. Mogelijk heeft deze aanpassing invloed op het gedrag van een individuele website.
Neem in dat geval s.v.p. even contact op met beheer AT hobby PUNT nl, dan kunnen we Apache fine-tunen voor de betreffende site.
+-+
10-08-2011 Inbel dienst stop gezet
Per vandaag hebben we besloten onze inbel dienst stop te zetten. Uit onderzoek is gebleken dat van deze dienst nauwelijks gebruik wordt gemaakt en wij achten het daarom niet zinvol om deze dienst te continueren.
