...

Hobbynet (verstoring)update (opgelost)

Verstoringen HCC-servers 30/4/2020In de laatste week hebben wij regelmatig kleine en grotere problemen ondervonden met de bereikbaarheid van alle HCC servers. Sommige van jullie hebben dit ervaren, anderen hebben het mogelijk niet eens gemerkt. De problemen zijn de afgelopen periode deels opgelost door bv het upgraden van de routers en de loadbalancers, met extra korte verstoringen tot gevolg. Echter de problemen met de storagecapaciteit bleken hardnekkiger. Afgelopen weekend (zaterdagnacht) hebben we onderhoud uitgevoerd aan onze storage omgeving, in de hoop dat we daarmee de problemen hadden opgelost. Echter dit bleek niet afdoende, waarna we contact hebben gezocht met de maker van de betreffende software. Deze gaf aan dat onze software die de storage omgeving beheert niet meer onderhouden gaat worden en dat we moesten over stappen op een ander software component. Gelukkig waren we al naar alternatieven aan het zoeken en kunnen we snel verder. Dit is echter voor ons veel werk en maar we hebben inmiddels een compleet nieuwe storage cluster gebouwd. Voor de techneuten onder ons: deze is gebaseerd op DRBD en als management laag Linstore met verder NFS Corosync en Pacemaker. Het bouwen van het nieuwe opslagcluster is inmiddels afgerond, we zijn nu een aantal tests aan het uitvoeren. De planning was om het omhangen van alle sites naar dit nieuwe opslag cluster komend weekend uit te voeren. Gezien de huidige problemen gaan we echter z.s.m. deze actie uitvoeren. We verwachten vanmiddag of begin van de avond site voor site alle HCC-sites te kunnen gaan overzetten naar dit nieuwe cluster. Per HCC-site zal deze naar verwachting 10 minuten tot maximaal 30 minuten offline zijn. Hoe kun je ons helpen? Voer vandaag zo min mogelijk mutaties uit op de websites: dat houdt de tijd van synchroniseren voor ons zo kort mogelijk en daarmee ook de downtijd van je eigen site.Houd er rekening mee dat er komende tijd nog wel het een en andere getuned moet worden, waardoor er kleine verstoringen kunnen ontstaan. Uiteraard proberen we de hinder hiervan zo beperkt mogelijk te houden. Capaciteit problemen Naast deze problemen die we hebben gehad met de storage hebben we ook nog eens last van overbelasting, door het corona virus worden onze site veel beter bezocht. Ook hiervoor hebben we stappen genomen en zijn we bezig met het inzetten van extra capaciteit. We hebben daarvoor een apart database cluster opgezet, waar we de sites van alle interessegroepen in onder gaan brengen. Door het technisch scheiden van de database servers tussen Interessegroepen en Regio’s hebben we in totaal meer database capaciteit beschikbaar. Voor jullie als webmaster is dit transparant en verandert er niets. DDOS aanvallen Dit alles is al lastig genoeg, maar schijnbaar is de verveling bij wat hackers toegeslagen. Momenteel hebben ook onze sites en servers veel last van DDOS aanvallen op onze servers waardoor websites op sommige momenten ook slechter bereikbaar zijn.

30 April 2020

...

onderhoud Storage servers 25 april 2020 (afgerond)

Aanstaande zaterdag 25 april om 23:00 zal er onderhoud plaats vinden aan de data opslag servers van hobbynet. Gedurende dit onderhoud zullen de websites van groeperingen kadermail niet bereikbaar zijn. Hoe lang dit onderhoud gaat duren kunnen wij niet op voorhand zeggen. We zullen de website www.hcc.nl doorverwijzen naar onze back-up locatie zodat deze sites bereikbaar blijft.

24 April 2020

...

Storing storage server 08-03-2020 (opgelost)

We hebben op dit moment last van een storing aan een van onze (dubbel uitgevoerde) centrale opslag servers.  Op dit moment draaien we op de fallback machine, er is gelukkig geen sprake van data verlies. Maar we draaien op dit moment dus niet redundant. We onderzoeken wat er is gebeurd en kijken waar het te verbeteren is. Update 10-03-2020 13:00 Nader onderzoek aan de storing gaf aan dat het onduidelijk is of we de opslag server weer naar een werkende situatie terug konden ombouwen. We hebben daarom besloten om een compleet nieuw opslagcluster te bouwen, dit keer zelfs drievoudig uitgevoerd i.p.v. dubbel. Dit nieuwe 3-voudige cluster is vanmorgen in bedrijf genomen; alle diensten draaien nu vanaf het nieuwe cluster. Daarmee is het probleem effectief verholpen.

8 Maart 2020

...

onderhoud loadbalancers vrijdag 22 april (afgerond)

Vrijdag 22 april tussen (22:30 en 01:00) wordt er preventief onderhoud uitgevoerd aan de beide loadbalancers. Tijdens dit onderhoud wordt een nieuwe versie van de loadbalancer software geinstaleerd. Normaal zou dit geen verstoring op leveren echter is er een grote aanpassing in heartbeat waar door het wel noodzakelijk is één of meerdere keren beide loadbalancer te gelijk te herstarten.

10 Januari 2020

...

Preventief onderhoud loadbalancers vrijdag 10 januari (afgerond)

Vrijdag 10 januari tussen (15:00 en 18:00) wordt er preventief onderhoud uitgevoerd aan de beide loadbalancers. Tijdens dit onderhoud wordt het geheugen van beide loadbalancers geupgrade. Omdat de loadbalancers dubbel zijn uitgevoerd zal er naar verwachting geen onderbreking zijn van de dienstverlening. Maar het is echter niet geheel uit te sluiten. Op een later moment zullen we op de loadbalancers ook het besturingssysteem opnieuw installeren. De reden voor de upgrade is het toename van het gebruik en we problemen in de toekomst willen voorkomen.

10 Januari 2020

Meld je aan voor de nieuwsbrief

Abonneer je nu op een of meerdere van onze nieuwsbrieven en blijf op de hoogte van onze activiteiten!

Aanmelden