W drugim artykule z cyklu „Akademia APC”, przedstawiamy metody oceny poprawności działania systemu chłodzenia serwerowni, w których obciążenie cieplne dochodzi do wartości obliczeniowych projektu i montowane są serwery o wysokich gęstościach mocy.
W niniejszej części artykułu przedstawimy ogólne wytyczne postępowania w przypadku audytu klimatyzacji, w kolejnej zaprezentujemy sposoby eliminacji nieprawidłowości w układzie chłodzenia ze szczególnym uwzględnieniem optymalizacji dystrybucji powietrza w serwerowni.

W przeszłości błędy powodujące nieprawidłowy przepływ powietrza nie stanowiły poważnego problemu z uwagi na niewielkie gęstości mocy w serwerowniach. Jednak obserwowany ostatnio wzrost zapotrzebowania na wyższą gęstość mocy sprawia, że systemy chłodzenia zaczynają działać na granicy swojej nominalnej wydajności, co prowadzi do powstawania gorących miejsc i nieoczekiwanych ograniczeń w wydajności chłodniczej.
Aby stwierdzić, czy istnieje (rzeczywisty lub potencjalny) problem dotyczący infrastruktury chłodzenia serwerowni, należy przeprowadzić pewne czynności kontrolne i pomiary. Do podstawowych z nich należą:
● określenie maksymalnej wydajności chłodzenia,
● kontrola pracy i nastaw klimatyzatorów,
● sprawdzenie stanu instalacji chłodniczych,
● rejestracja temperatury w różnych częściach pomieszczenia,
● pomiar temperatury w obrębie szaf rakowych,
● sprawdzenie przepływów przez kraty podłogowe,
● sprawdzenie przepływów w obrębie szaf rakowych,
● przejścia i układ płytek podłogowych.

Taki audyt pozwoli określić stan centrum obliczeniowego i uniknąć awarii urządzeń elektronicznych spowodowanych niewłaściwą temperaturą.
Audyt może także posłużyć do określenia, czy dostępna wydajność chłodnicza będzie wystarczająca w przyszłości oraz jakie są możliwości rozbudowy istniejącego systemu. Wyniki opisywanych pomiarów kontrolnych należy rejestrować i analizować z użyciem specjalnego szablonu zamieszczonego w poprzednim artykule z cyklu „Akademia APC”[1], lub opracować własny. Bardzo przydatnym do późniejszych analiz będzie także rysunek z rozkładem urządzeń w pomieszczeniu oraz pomierzonymi temperaturami.

Kontrola wydajności
Pierwszym krokiem do zapewnienia odpowiedniego chłodzenia jest sprawdzenie, czy wydajność układu chłodzącego odpowiada aktualnej i planowanej mocy urządzeń. Należy przy tym pamiętać, że na każdy wat pobierany przez urządzenia komputerowe musi przypadać 1 wat wydajności chłodniczej.
Typowy system chłodzenia składa się z szafy klimatyzacyjnej dostarczającej schłodzone powietrze do pomieszczenia oraz zamontowanego na zewnątrz urządzenia oddającego ciepło do atmosfery. Wydajność systemu chłodzenia podana jest na lub wewnątrz każdego klimatyzatora. Wartości wydajności można też znaleźć w specyfikacjach technicznych udostępnianych przez producenta. Producenci szaf klimatyzacyjnych podają wydajność systemu przy założonej temperaturze powietrza na wlocie, wilgotności i temperaturze skraplania czynnika. Ze sterownika klimatyzatora możemy odczytać temperaturę powietrza na wlocie i wilgotność względną. Na podstawie tych danych technicznych należy określić wydajność jawną poszczególnych klimatyzatorów.
W przypadku instalacji chłodzonych wodą lodową nominalne moce szaf trzeba porównać z mocą chłodniczą i parametrami pracy źródła chłodu. Bardzo często nominalna moc chłodnicza szaf klimatyzacyjnych jest dużo większa niż moc źródła chłodu.
Obliczoną wydajność maksymalną należy następnie porównać z obciążeniem cieplnym centrum obliczeniowego. Maksymalne obciążenie cieplne powinno być zawsze niższe od teoretycznej maksymalnej wydajności chłodniczej. Nawet w przypadku, gdy obciążenie jest wyższe i oczywiste jest, że należy zwiększyć ilość klimatyzatorów, warto wykonać pozostałe czynności audytu, aby przekonać się gdzie powinno się zainstalować urządzenia i jak optymalnie skonfigurować obieg powietrza.

Kontrola pracy i nastaw klimatyzatorów
Klimatyzatory w centrum obliczeniowym działające w sposób nieskoordynowany najprawdopodobniej nie zapewnią wymaganej wydajności i będą przyczyną podwyższonych kosztów eksploatacji. Klimatyzatory pracują zwykle w czterech trybach: chłodzenia, ogrzewania, nawilżania i osuszania. Wszystkie systemy w określonym obszarze (4-5 sąsiednich urządzeń) powinny zawsze działać w tym samym trybie, przy czym należy pamiętać, że dwa tryby (tj. chłodzenie i osuszanie) mogą być aktywne jednocześnie. Nieskoordynowane działanie klimatyzatorów w trybach wzajemnie znoszących się (np. osuszanie i nawilżanie) prowadzi do nieuzasadnionego wzrostu kosztów eksploatacyjnych oraz zmniejszenia wydajności chłodniczej. Klimatyzatory powinny być testowane w celu potwierdzenia zgodności zmierzonych temperatur (na wlocie i powrocie) oraz wilgotności z wartościami obliczeniowymi.
Ze względu na wydajność i oszczędności należy rozważyć eksploatację systemu w pobliżu dolnej granicy przedziału wilgotności względnej (30-35%). Niewielka zmiana nastawy w kierunku dolnego końca przedziału może radykalnie poprawić zdolność systemu do odprowadzania ciepła i skrócić czas pracy nawilżacza.
Nastawy temperatury i wilgotności we wszystkich klimatyzatorach w centrum obliczeniowym powinny być spójne. Różne nastawy spowodują działanie wzajemnie znoszące się i fluktuacje warunków w pomieszczeniu. Niestety dość często zdarza się, że czujki w sąsiadujących ze sobą klimatyzatorach są inaczej skalibrowane, Na szczęście praktycznie wszystkie sterowniki szaf klimatyzacyjnych dostępnych na rynku mają możliwość rekalibracji.
Przetestowanie wydajności systemu wymaga także zmierzenia temperatury na powrocie i dopływie. Należy wybrać trzy rozmieszczone w środku geometrycznym punkty monitorowania na dopływie i powrocie, tak jak pokazano to na rysunku 1.

W warunkach idealnych zadana temperatura powietrza dopływającego powinna być równa temperaturze wymaganej na wlocie w obudowie serwera. Temperaturę tę określimy później, dokonując pomiarów przy wlocie do obudowy szafy rakowej. Zmierzona temperatura powietrza powracającego powinna być większa lub równa temperaturom zmierzonym w strefie gorącej przynależnej do danej szafy klimatyzacyjnej. Jeśli temperatura na powrocie będzie niższa od zmierzonej w strefie gorącej wskazuje to zmniejszoną wydajność wynikającą ze zbyt krótkiej drogi obiegu. Ma to miejsce, gdy schłodzone powietrze z klimatyzatora omija urządzenia komputerowe i wpływa bezpośrednio do kanału powrotnego klimatyzatora. Niewłaściwa droga przepływu chłodnego powietrza jest najważniejszą przyczyną przegrzewania się urządzeń. Źródłem tej nieprawidłowości może być szereg czynników, niektóre z nich opisano w dalszych podpunktach tego artykułu.

Kontrola stanu obiegów chłodniczych
Oczywiście kontrola stanu instalacji chłodniczych wymaga wiedzy i zrozumienia podstawowych zasad działania urządzeń klimatyzacyjnych. Można oczywiście zlecić takie badania zewnętrznej firmie lub niezależnemu konsultantowi ds. instalacji chłodniczych i klimatyzacyjnych
W przypadku instalacji z wodą lodową należy sprawdzić przede wszystkim stan agregatów chłodniczych zewnętrznych lub wewnętrznych wraz z ich zewnętrznymi wymiennikami, układów pomp i głównych obiegów chłodzenia. Bardzo ważne jest sprawdzenie prawidłowości działania zaworów.
Jeśli wykorzystywane są systemy bezpośredniego odparowania DX, należy sprawdzić, czy są one w pełni naładowane czynnikiem oraz czy zachowano średnice i długości rurociągów zalecane przez producenta. Przy instalacjach o wysokich długościach równoważnych wystąpi spadek mocy nominalnej klimatyzatorów.

Zarejestrowanie temperatury w przejściach (profil temperatur pomieszczenia)
(...)

Rejestracja temperatury szaf
(...)

Testowanie przepływu i ilości powietrza nawiewanego przez nawiewnik w płytce podłogowej
(...)

Wzrokowa kontrola szaf
(...)

Kontrola drogi przepływu powietrza pod podłogą
(...)

Kontrola rozmieszczenia przejść i płytek podłogowych
(...)

Kontrola rozmieszczenia klimatyzatorów
(...)

Wnioski
Rutynowe kontrole systemu chłodzenia pozwalają na wczesne wykrycie potencjalnych problemów z chłodzeniem i zapobiegają przestojom. Zmiany w poborze mocy, modernizacje i rozbudowa sprzętu komputerowego mogą wpłynąć na ilość ciepła wydzielanego w centrum obliczeniowym. Regularne kontrole stanu systemu chłodzenia pozwolą wykryć efekty tych zmian zanim staną się one przyczyną poważniejszych problemów. Eliminując problemy wykryte podczas kontroli opisanych w niniejszym raporcie, można stworzyć optymalne środowisko przy danej gęstości mocy.

Literatura
[1] Akademia APC cz. 1.: Jak obliczać chłodzenie wymagane w centrach danych. Chłodnictwo&Klimatyzacja nr 7/2009.
[2] Raport APC nr 40: Audyt umożliwiający wykrycie potencjalnych problemów w systemach chłodzenia centrów obliczeniowych.
[3] Raport APC nr 42: Dziesięć kroków w rozwiązywaniu problemów z chłodzeniem instalacji serwerów o dużej gęstości mocy.
[4] Raport APC nr 49: Błędy wpływające negatywnie na wydajność chłodzenia centrów obliczeniowych i serwerowni

Opracowano na podstawie materiałów APC www.apc.com