Certyfikowane metrologicznie monitorowanie jakości zasilania sieciowego - zwiększenie bezpieczeństwa pracy centrów przetwarzania danych w trybie 24/7

Ilość danych cyfrowych rośnie w szybkim tempie i wciąż się zwiększa. Jedną z głównych przyczyn tego zjawiska są kryptowaluty, takie jak Bitcoin (XBT), Ether (ETH), Litecoin (LTC) itp. lub technologia blockchain, która do pewnego stopnia jest rodzajem bazy danych działającej na kilku połączonych w sieć serwerach. Rosnące zapotrzebowanie na wymianę danych powoduje również wzrost liczby centrów danych, które są planowane, budowane i utrzymywane na masową skalę na całym świecie. Centra danych muszą jednak sprostać złożonym wyzwaniom związanym z dostawą energii elektrycznej, co może mieć wpływ na bezpieczne (i zgodne z prawem) funkcjonowanie w trybie 24/7.

Opis problemu

Różne badania wykazały, że problemy z jakością energii elektrycznej w sieciach zasilających generują koszty, które co roku sięgają miliardów euro. Już w 2007 roku w ogólnoeuropejskim badaniu LPQI Power Quality Survey 2007 oszacowano, że straty z tego tytułu wynoszą 150 miliardów euro rocznie. Tymczasem wyzwania, przed którymi stoją wszyscy, wciąż rosną.

Dotyczy to zwłaszcza centrów przetwarzania danych. Przyczyny tego stanu rzeczy są następujące:

(1) Zakłócenia w sieci zasilającej:

Znaczny wzrost liczby odbiorników nieliniowych (oświetlenie LED, komputery, ładowarki, przemienniki częstotliwości itp.), które generują zakłócenia elektromagnetyczne.

Wzrost liczby źródeł zasilania (np. energia wiatrowa i systemy fotowoltaiczne, co prowadzi do niestabilności napięcia

(2) Wpływ zakłóceń:

• Nowsze typy urządzeń (np. serwery, systemy sterowania, windy, systemy sygnalizacji pożaru itp.) są bardziej wrażliwe na zakłócenia i podatne na awarie
• Może dojść do zniszczenia całych komponentów
• Przestoje operacyjne są bardzo kosztowne pod względem finansowym
• Bezradność w przypadku awarii systemów, ponieważ jej przyczyny są często niewykrywalne
• Stosowane przyrządy pomiarowe mogą nie być w stanie wystarczająco dobrze wykryć zakłóceń
• Dane nie są rejestrowane, ponieważ instrumenty pomiarowe również ulegają zakłóceniom
• W ostateczności do wykonania analizy potrzebny jest doświadczony, fachowy i kosztowny personel.

Rys. 1 Źródło: Dr Jan Meyer, TU Dresden
Potrzeba monitorowania jakości energii elektrycznej z powodu zakłócenia sieci przez odbiorniki nieliniowe i zasilanie zdecentralizowane.

Jak opisano wcześniej, problemy z jakością energii elektrycznej mogą powodować zakłócenia i awarie systemu, które nieuchronnie prowadzą do dodatkowych kosztów, czasu i wysiłku. Zakłócenia w zasilaniu stanowią istotne ryzyko (patrz rys. 2), zwłaszcza w przypadku centrów przetwarzania danych, które są wyposażone w kapitałochłonną redundancję (np. systemy UPS, generatory, wiele źródeł zasilania) i które zazwyczaj powinny zapobiegać przestojom lub potencjalnym uszkodzeniom.

W idealnej sytuacji wszystkie zainstalowane urządzenia powinny spełniać normy dotyczące zniekształceń harmonicznych i odporności na zakłócenia, tak aby istniało prawdopodobieństwo, że mogą one działać bezproblemowo. Jednak w niesprzyjających warunkach pracy, na przykład przy dużej liczbie podobnych odbiorników, asymetrycznym obciążeniu itp., mogą wystąpić znaczące poziomy zakłóceń. Aby móc na bieżąco szacować zagrożenia, a także je ograniczać, niezbędne jest monitorowanie jakości energii.

Rys. 2 Źródło: IEC 61000-2-2
Prawdopodobieństwo wystąpienia problemów z jakością energii elektrycznej na podstawie zasady kompatybilności elektromagnetycznej (EMC).

W zależności od struktury i topologii centrum przetwarzania danych sensowne może być monitorowanie kilku różnych punktów zasilania energią:

• W punkcie zasilania przez dostawcę energii elektrycznej, zwanym PCC (punkt przyłączenia)
• We wszystkich chronionych obszarach zasilania
• W punkcie zasilania systemów zasilania rezerwowego.

Oprócz danych analitycznych pokazanych na rysunku 3, pomiary danych dotyczących jakości energii umożliwiają wykrycie istniejących lub rozwijających się problemów wystarczająco wcześnie, zanim mogą one doprowadzić do uszkodzenia. Aby zmierzyć zgodność, zarejestrowane statystyki są porównywane ze standardowymi wartościami granicznymi.

Rys. 3: Źródło własny diagram
Schematyczna struktura danych monitorowania jakości energii z analizą statystyczną

Dla centrów danych są to:

• EN 50160 (charakterystyka napięcia w publicznych systemach dystrybucji), które zwykle służą jako podstawa umowy z dostawcą energii.
• IEC 61000-2-4 (poziomy zgodności w zakładach przemysłowych), w szczególności klasa 1 (zabezpieczone źródła zasilania).

Wspomniane wyżej normy zawierają wytyczne dotyczące tego, jak powinno zachowywać się zasilanie sieciowe w punkcie monitorowania podczas normalnej pracy. Wyjątkowe sytuacje, które mogą prowadzić do czasowego ograniczenia dostaw energii, nie są objęte gwarancją. Obowiązkowe jest rejestrowanie tego typu zakłóceń, takich jak zapady lub przerwy w napięciu, jednak nie ma określonego limitu ich liczby w celu zachowania zgodności z normą (patrz rysunek 4).

Funkcją UPS lub systemów zasilania rezerwowego jest możliwość skompensowania wszelkich ograniczeń zasilania. Te rozwiązania do tworzenia kopii zapasowych są jednak ograniczone do najważniejszych zasobów, więc może się zdarzyć, że inne komponenty będą działać z ograniczoną funkcjonalnością. Z tego powodu ważne jest, aby personel obsługujący był szybko informowany o wystąpieniu zdarzenia typu IEC 61000-4-30. Można to zrealizować poprzez automatyczne powiadomienie wysyłane do kompetentnych osób na przykład pocztą elektroniczną.

Rys. 4: Źródło własny diagram
Zdarzenia napięciowe nie mają wpływu na ocenę zgodności

Do wymiany danych dotyczących jakości energii warto stosować standardowy format, na przykład PQDIF (Power Quality Data Interchange Format), który jest zgodny z normą IEEE 1159.3. Dzięki temu zakres dostępnego oprogramowania do analizy danych o jakości energii nie ogranicza się do autorskich systemów producentów.

Kolejny aspekt – RCM

Aby zapobiec nieoczekiwanym przerwom w działaniu, centra danych unikają monitorowania prądu szczątkowego urządzenia (RCD) z bezpośrednim wyzwalaniem. Wręcz przeciwnie, obowiązkowe jest stałe monitorowanie prądów różnicowych (patrz rysunek 5). W tym przypadku stosowany jest RCM (Residual Current Monitoring), który oprócz swojej podstawowej funkcji, jaką jest ochrona bezpieczeństwa ludzi, chroni również systemy przed uszkodzeniem i wspomaga zapobieganie pożarom. Ponadto zmiany prądów różnicowych mogą zapewnić wczesne ostrzeżenie o jakimkolwiek pogorszeniu stanu izolacji i umożliwienie podjęcia działań naprawczych. Błędy występujące w systemie TN-S (np. nielegalne lub dodatkowe połączenia PE-N mogą być również wcześnie wykrywane i korygowane).

Rys. 5: Źródło własny diagram
Pomiar prądu szczątkowego dla bezpieczeństwa osobistego, ochrony sprzętu i ochrony przeciwpożarowej. Monitoring sieci TN-S (np. prąd w mostku N-PE lub w centralnym punkcie uziemienia).

Poprawne dane pomiarowe dzięki identyfikowalności metrologicznej

Stare powiedzenie ślusarskie mówi, że "centymetry są miarą zegarmistrzowską". Innymi słowy, "kto mierzy, ten mierzy śmieci". Wiedzą o tym technicy i ekonomiści, którzy biorą pod uwagę to znane i wciąż przydatne ostrzeżenie, upewniając się, że stosują właściwą metodę do każdego rodzaju pomiaru. Jednak pomimo faktu, że wymagane specyfikacje urządzeń do pomiaru jakości energii są precyzyjnie zdefiniowane pod względem metodologii pomiarowej (IEC 61000-4-30), charakterystyki urządzeń (IEC 62586-1) i walidacji zgodności z normami (IEC 62586-2), nadal istnieją różnice między producentami.

Dostawcy często nie są w stanie udowodnić, dlaczego ich urządzenie analityczne spełnia wymagania specyfikacji i wykonuje prawidłowe pomiary. Dowód rzeczywiście poprawnego pomiaru można uzyskać tylko w niezależnym laboratorium certyfikacyjnym, najlepiej w instytucie metrologicznym. Niecertyfikowane laboratoria badawcze, a nawet własne oświadczenia producentów nie mogą zastąpić certyfikatu metrologicznego i dlatego należy na nie patrzeć krytycznym okiem. Jest to szczególnie ważne w przypadku wrażliwych działań, takich jak centra danych, które wiążą się z wysokimi kosztami i ryzykiem.

Na przykład, Camille Bauer Metrawatt AG zwróciła się do METAS (Federalny Instytut Metrologii) w Szwajcarii o przeprowadzenie niezależnej certyfikacji.

Instytut nie może podać normy dla każdej uznanej jednostki miary, zamiast tego odwołuje się do własnego sprzętu pomiarowego weryfikowalnego i identyfikowalnego z jednostkami podstawowymi SI. Gwarantuje to, że dane pomiarowe nie będą w żadnym momencie kwestionowane.

Korzyści płynące z certyfikowanego metrologicznie monitorowania jakości energii

Główną korzyścią profesjonalnego i stałego monitorowania jakości zasilania jest zwiększona dyspozycyjność operacyjna centrów danych, gdzie jakość energii jest definiowana jako kluczowy składnik jakości dostaw (patrz rysunek 6) i ma naturalnie zastosowanie w wielu innych wrażliwych obszarach innych niż centra danych (na przykład szpitale, wrażliwe obiekty przemysłowe, infrastruktura transportowa, taka jak lotniska, kompleksy budynków publicznie dostępnych, takie jak centra handlowe itp.). Korzyść uzyskuje się poprzez analizę zarejestrowanych danych długoterminowych w celu obserwacji zmian i identyfikacji korelacji. Zgodność z umownymi wytycznymi dotyczącymi dostaw to tylko jeden z ważnych aspektów. Dodatkowe istotne informacje można uzyskać, korzystając z następujących procedur:

• Porównanie normalnej pracy z UPS lub pracą z prądem awaryjnym
• Ocena harmonicznych i ich wpływu na sprzęt
• Ocena zmian jakości sieci w dłuższym okresie
• Zmiany jakości sieci po zmianach w instalacji
• Zmiany jakości sieci po włączeniu lub wyłączeniu sprzętu
• Ocena zdarzeń napięciowych w zależności od czasu trwania i napięcia resztkowego (krzywa ITC) oraz ich wpływu na żywotność sprzętu

Rys. 6: Źródło własny diagram Wzór na jakość zasilania elektrycznego

Kolejną konkretną korzyścią jest stały RCM. Poprzez ciągłe prawidłowe monitorowanie prądu resztkowego możliwe jest wyeliminowanie okresowych, powtarzalnych i ręcznych testów rezystancji izolacji. Eliminuje to zarówno potrzebę wyłączania instalacji podczas testowania (zwiększając w ten sposób dostępność), jak i oszczędza ogromną ilość czasu i wysiłku potrzebnego do testowania wraz z powiązanymi kosztami i wymaganymi ludźmi.

Wynik

Wyciągnięcie prawidłowych wniosków z certyfikowanego metrologicznie monitoringu jakości energii, w tym RCM, skutkuje trwałą ochroną inwestycji, obniżeniem kosztów eksploatacji, maksymalizacją dostępności danych i, co bardzo ważne, zadowoleniem wszystkich zainteresowanych stron.
Należą do nich klienci, pracownicy, dostawcy energii, operatorzy, inwestorzy, wykonawcy usług, urzędy, stowarzyszenia itp. I wreszcie pomaga obniżyć emisję CO₂, ponieważ umożliwia wydajniejszą i bezpieczniejszą obsługę centrum danych.

Outlook

Obserwując rozwój globalnej ilości danych, można zauważyć, że wyzwania dla planistów i operatorów będą prawdopodobnie jeszcze większe w przyszłości. W samych Chinach przewiduje się, że ponad 500 000 istniejących centrów danych wzrośnie do 1 000 000 do 2023 r. (wzrost o 21% rocznie). Rozważając wszystkie aspekty jakości energii, musimy coraz bardziej koncentrować się na pytaniu, jak można uregulować to rosnące zapotrzebowanie na energię pod kątem PUE (Power Usage Effectiveness), ponieważ infrastruktura energetyczna i wymagane powierzchnie budynków mogą osiągnąć swoje granice. Jak napisał amerykański naukowiec Jonathan Koomey, udział centrów danych w światowym zużyciu energii wynosi już około 1,1 do 1,5%. W samym tylko regionie Frankfurtu centra danych odpowiadają za 20% całkowitego zużycia energii.

„Wydajność serwera a energia elektryczna” – jakie konkretnie kroki można podjąć, aby ulepszyć PUE? Mając to na uwadze, zaleca się monitorowanie zużycia energii pod kątem ilości danych i dopasowanie go do punktu obsługi w instalacji, a następnie do przesłania tych informacji bezpośrednio do modelu rozliczeniowego dostaw energii, a także do wymiany danych po stronie klienta. W ten sposób cena energii definiowana jest w realnym „modelu zużycia” i potencjalnie zwiększa świadomość dostawców i ich użytkowników. Dane mogą być wtedy wykorzystywane w bardziej ekonomiczny sposób, ze względu na faktycznie generowane koszty energii. Od strony technicznej można przewidzieć zintegrowany monitor energii, oparty na odtwarzalnym modelu referencyjnym (definicja standardu pomiaru), który monitoruje poszczególne serwery, szafy lub podobny sprzęt do przetwarzania danych i mierzy rzeczywistą energię na jednostkę danych w każdym punkcie obsługi oraz następnie przekazuje prawidłowe dane do wystawienia faktury.

Kolejnym aspektem do rozważenia jest to, czy ciągłe i kwalifikowane monitorowanie zasilania sieciowego mogłoby być również wykorzystywane do zapobiegania cyberatakom na dostawy energii do centrów danych lub innych wrażliwych działań. Byłoby to quasi nadmiarowe w stosunku do istniejących systemów monitorowania, które są już wdrożone jako rozwiązania programowe, ale które podlegają ogromnej dynamice. Celem jest badanie czy można znaleźć powiązanie między zmianami w jakości zasilania a cyberatakami na serwery i infrastrukturę centrum danych, a co za tym idzie, czy można je wcześnie odeprzeć.
W obu przypadkach, stosunek wydajności serwera do energii elektrycznej (PUE) oraz jako dodatkowa ochrona przed cyberatakami z wykorzystaniem analizy jakości sieci, krytyczne będą wartości referencyjne (definicja standardu pomiaru).