Защита дата-центров от пожара

Пожары в ЦОД и дата-центрах показывают, что выполнение нормативных требований в части применения автоматических систем пожарной сигнализации и пожаротушения не исключают значительных материальных потерь. Пожар в дата-центре при отсутствии централизованной установки газового пожаротушения может привести к полному уничтожению оборудования и даже здания.

Ущерб от крупных пожаров в ЦОД

В 2013 г. пожар в штате Мичиган (США), в здании с дата-центром отключились все ИТ-службы округа Макомб, включая телефонную связь и сеть "Интернет". На следующий день было объявлено чрезвычайное положение. Восстановление здания и дата-центра заняло несколько месяцев и потребовало затрат на миллионы долларов.

20 апреля 2014 г. сгорел дата-центр SDS Samsung Electronics в г. Квачхон (Южная Корея). Официальный сайт Samsung.com был недоступен в течение нескольких часов. Смартфоны, планшеты и телевизоры компании Samsung по всему миру выдавали ошибки на экранах. Не открывались или сбоили приложения.

В 2015 г. сгорела телекоммуникационная компания – крупнейший оператор BT Group в Белфасте (Северная Ирландия). Был отключен весь дата-центр, в результате лишились связи все клиенты компании, в том числе работники госучреждений. Нарушилась работа общественного транспорта Translink, офиса омбудсмена полиции, горсовета Белфаста, энергетических компаний Northern Ireland Electricity и Budget Energy.

17 ноября 2015 г. пожар в компании Delta Telecom в Баку оставил почти весь Азербайджан без Интернета на восемь часов. Причиной возгорания стали несколько кабелей, находящихся в старом ЦОД, в результате было уничтожено более 30% оборудования фирмы. Отключение Интернета в стране парализовало работу банков, перестали работать банкоматы и платежные терминалы, были остановлены онлайн-переводы, закрылись пункты онлайн-платежей Pay Point и MilliON, ряд городов лишился мобильной связи, прекратилось бронирование онлайн-билетов.

В августе 2016 г. произошло задымление в одном из дата-центров компании Shared Services Canada в Оттаве (Канада), которая обслуживала ИТ-инфраструктуры правительства. Завершение работы серверов в экстренном режиме привело к "падению" веб-сайтов правительства и остановке работы системы начисления зарплаты. Стала недоступна внутренняя электронная почта для госслужащих и была нарушена работа министерства транспорта Канады.

В 2021 г. в канадском городе Калгари случился пожар на объекте Shaw Communications, нарушивший работу 311 аварийных служб города, баз данных имущества и транспортных средств, а также медицинской компьютерной сети Alberta Health Services. В результате, кроме всего прочего, в местных больницах пришлось отложить сотни хирургических операций. Только через 36 часов было восстановлено нормальное функционирование систем.

Рис. 2. Пятиэтажный дата-центр SBG2 после пожара (источник: Christian Hartmann/Reuters)

Пожар в дата-центрах OVHcloud

Компания OVHcloud, специализирующаяся на предоставлении облачных услуг, – крупнейший хостинг-провайдер Европы и третий по величине поставщик таких услуг в мире. 10 марта 2021 г. около часа ночи в одном из помещений дата-центра SBG2 в Страсбурге (Франция) был обнаружен очаг. По предварительным данным, причиной катастрофического пожара стали неполадки в системе ИБП. По версии пожарных, загорелись два инвертора, один из которых накануне ремонтировался.

По сообщениям французского издания L’ALSACE, в тушении участвовали 115 пожарных и 44 единицы техники, но только утром пожар был полностью ликвидирован. Пятиэтажный дата-центр SBG2 выгорел полностью, в дата-центре SBG1 из 12 помещений сгорело 4, в дата-центре SBG3 из 8 помещений сгорело 4. И только дата-центр SBG4 не был затронут пожаром.

Ущерб от пожара был колоссальным. Воздействию даунтайма подверглись 3,6 млн веб-серверов, связанных с OVHcloud и представляющих 464 тыс. доменных имен. Более 18% IP-адресов, назначенных OVH, перестали отвечать на запросы. Были затронуты структуры во Франции и Бельгии, включая аэропорт Страсбурга, музей Центра Помпиду в Париже, гандбольный клуб Créteil, платформу данных data.gouv.fr, каталог Avocats.be, издание Bayard, африканского интернет-провайдера AFR-IX, разработчиков утилиты для шифрования дисков Vera Crypt, консалтинговую компанию Bad Packets, специализирующуюся на анализе угроз. Разработчики антиутопической игры на выживание в "песочнице" Rust потеряли 25 серверов, некоторые игровые данные никогда не будут восстановлены, поскольку резервные копии где-либо еще не создавались.

В пресс-релизе компании OVHcloud, выпущенном 10.03.2021 г., сообщается: "В 00:47 в среду, 10 марта 2021 г., в помещении одного из четырех наших дата-центров в Страсбурге, SBG2, вспыхнул пожар. Обратите внимание, что сайт не классифицируется как сайт Seveso. Пожарные немедленно вмешались, чтобы предотвратить распространение огня. В 2:54 они изолировали площадку и перекрыли ее периметр. К 4:09 пожар уничтожил SBG2 и продолжал представлять опасность для близлежащих центров обработки данных, пока пожарная команда не взяла пожар под контроль".

В обновленном пресс-релизе компании OVHcloud 23.04.2021 г. говорится: "Когда 10 марта в 00:47 вспыхнул пожар, наши системы обнаружения были немедленно активированы, и наши команды смогли отреагировать в соответствии с протоколом, действующим для энергетических комнат, где был обнаружен дым. Пожарные прибыли на место очень быстро, но тушение пожара можно было начать только после отключения электроэнергии на всей площадке, включая все четыре центра обработки данных. Команда OVHcloud изучает изображения с 300 камер наблюдения, установленных в рамках мер безопасности на объекте в Страсбурге".

Однако, в социальных сетях на странице компании OVHcloud после этих пресс-релизов Dawid Kochan два раза задавал вопрос, на который так и не получил ответ: "OVH Are you 100% sure that fire started at 0:47? Because today I remembered that we got machine temp logs and according to them the fire started at 23:50". В переводе: "OVH, вы на 100% уверены, что пожар начался в 0:47? Потому что сегодня я вспомнил, что у нас есть логи температур устройств, и согласно им, пожар начался в 23:50".

Действительно, из представленных графиков следует, что еще 9 марта в 23:50 температура CPU с 32 °С подскочила до 39 °С, а через пять минут – до 42 °С, еще через 10 минут температура повысилась до 45 °С (рис. 3). Таким образом, очевидно: очаг развивался более часа, прежде чем он был обнаружен системой пожарной сигнализации. 10 марта в 24:05, то есть через 18 мин. после формирования сигнала "Пожар", температура CPU повысилась до 50 °С, а еще через пять минут до 92 °С!

Рис. 3. Графики температур в SBG2 в ночь с 9 на 10 марта 2021 г. (источник: https://imgur.com/a/AEbRhQN).

Изучение записей с камер видеонаблюдения, установленных в помещениях дата-центра SBG2, позволяет с большей точностью определить, сколько времени потребовалось сигнализации на обнаружение пожара. Судя по всему, дата-центры компании OVHcloud в Страсбурге были защищены только точечными дымовыми извещателями, и этот пожар еще раз наглядно продемонстрировал неспособность обеспечить ими своевременное обнаружение пожара.

К чему приводит стремление избежать репутационных рисков

Пожары меньших размеров, когда обходится без вызова пожарных, скрываются от общественности для исключения репутационных рисков.

Об одном таком случае мне рассказали участники конференции по ЦОД несколько лет назад. Их вопросы поражают своей безграмотностью: "Почему пожарная сигнализация не сработала, когда в машзале температура была около 60 °С?". Оказывается, некоторые участники конференций по ЦОД не знают, что по нормам ЦОД защищаются не тепловыми, а дымовыми пожарными извещателями. Но, в отличие от ситуации с пожаром в Страсбурге, вопрос по температуре возник у компании, которая мониторила систему кондиционирования в реальном масштабе времени. Поступил звонок с вопросом: "По нашей информации, в таком-то помещении у вас уже сгорели одна или две стойки, вы контролируете ситуацию?" Неудивительно, что в помещение войти уже не было никакой возможности. Повезло, что пожар возник в пятницу, а не в субботу или в воскресенье, когда на объекте практически нет персонала и пожар мог бы уничтожить не один машзал.

Причина пожаров в ЦОД

Могут быть различные причины возникновения пожароопасной ситуации, различные причины образования очага, но причина пожара одна – позднее обнаружение очага.

В своде правил СП 484.1311500.2020 п. 6.1.1 сказано: "СПС должна проектироваться с целью выполнения следующих основных задач: *своевременное обнаружение пожара…". И далее п. 6.1.2: "Своевременность обнаружения должна обеспечиваться выбором типа и класса ИП, а также размещением ИП в соответствии с требованиями настоящего свода правил".

Своевременность обнаружения пожара не исключает значительный материальный ущерб от пожара, в общем случае выполнение норм обеспечивает защиту людей от пожара, то есть эвакуацию их из здания при пожаре. И при пожарах в дата-центрах, как правило, пострадавшие отсутствуют.

Рис. 4. Тестовый очаг пожара ТП-2 (тление древесины): а) начало теста, б) окончание теста

Требования для защиты помещений с электронным оборудованием

Широко используемые дымовые пожарные извещатели, точечные (ИПДОТ) и линейные (ИПДЛ) срабатывают при значительном задымлении в помещении. При испытаниях на обнаружение тестовых очагов по ГОСТ Р 53325 задымление в месте расположения извещателей может достигать значительной величины (рис. 4), сработка допускается при затухании до 2 дБ или 38% на расстоянии в 1 м! В то время как опасный фактор пожара по снижению видимости равен 20 м. Даже если извещатель сработает при в два раза меньшей удельной оптической плотности дыма, при 19%/м (0,9 дБ/м), то на дистанции 20 м уровень света снижается на 98%, то есть полностью поглощается дымом. Причем точеные извещатели располагаются на расстоянии 3 м от очага, оптические оси линейных извещателей на расстоянии 2,5 м от очага, тогда как при расстановке извещателей по СП 484.131500.2020 максимальное расстояние до очага увеличивается до 6,4 м и до 4,5 м, соответственно. Кроме того, помещение для проведения огневых испытаний дымовых извещателей имеет площадь 70 кв. м и дым не может распространяться на большую площадь, также полностью отсутствуют воздушные потоки, в отличие от реальных условий. Соответственно, по сигналу "Пожар" от точечных пожарных извещателей далеко не всегда возможно пресечь развитие очага персоналом без риска для жизни.

В зарубежных нормах содержатся более жесткие требования для защиты помещений с электронным оборудованием. По европейским нормам на один точечный дымовой извещатель защищаемая площадь должна составлять не более 25 кв. м. В пространствах под фальшполом и за фальшпотолком защищаемая площадь не более 20–30 кв. м, меньшие значения площади применяются для пространств с балками. При наличии воздушных потоков со скоростью 4 м/с и менее площадь контроля на один извещатель сокращается до 15–20 кв. м, при скорости более 4 м/с площадь контроля сокращается до 10 кв. м. Необходимо учитывать, что в стандартных помещениях точечный дымовой извещатель по требованиям BS 5839 защищает площадь радиусом 7,5 м или в среднем 110 кв. м на один извещатель. То есть в помещениях с электронным оборудованием число извещателей увеличивается более чем в 10 раз.

Рис. 5. Выход холодного воздуха

Воздушные потоки

В простейшем случае, при отсутствии выделенных холодных и горячих коридоров в центре обработки данных, холодный воздух через решетки в фальшполе (рис. 5) поступает в основное помещение и в стойки с оборудованием. Из стоек горячий воздух поступает в прецизионные кондиционеры (рис. 6, 7). Высота стоек и высота кондиционеров составляет порядка 2 м, что и определяет наличие воздушных потоков в нижней части помещения.

Рис. 6. Потоки горячего воздуха

Рис. 7. Потоки горячего воздуха

В машзалах с межстоечными кондиционерами образуются горизонтальные воздушные потоки, и при выделении дыма из стойки на среднем или нижнем уровне дым будет обнаружен на потолке горячего коридора только после того, как он распространится на весь объем помещения.

В крупных дата-центрах с выделенными холодными коридорами забор горячего воздуха в машзалах может осуществляться в нижней части помещения (рис. 8). При этом воздушные потоки направлены вниз – нет никакого шанса обнаружить дым на перекрытии на высоте 5–6 м.

Рис. 8. Воздушные потоки, направленные вниз

На выходе из стоек оборудования суммируются воздушные потоки системы охлаждения с потоками от вентиляторов, расположенных в блоках. В итоге скорость воздушных потоков находится примерно в диапазоне от 2 до 5 м/с (рис. 9).

Рис. 9. Скорость воздушного потока на выходе стойки

Скорость воздушного потока вблизи входа прецизионного кондиционера превышает 5 м/с, а непосредственно на фильтре кондиционера достигает величины 8–10 м/с. Скорость воздушного потока в области расположения труб аспирационного извещателя на расстоянии 250–300 мм от кондиционеров (рис. 10) снижается до 3–3,5 м/с. Снижение скорости внешних воздушных потоков благоприятно сказывается на работе аспирационного извещателя, но даже в таких условиях необходимо экспериментально определить оптимальный угол разворота отверстий относительно воздушного потока.

Рис. 10. Фильтры прецизионных кондиционеров

В отличие от воздушных потоков в воздуховодах оптимальное направление воздушного потока на входе в кондиционер заранее определить практически невозможно. При неправильном расположении отверстий в трубах относительно воздушного потока может возникнуть эффект пульверизатора, и воздух будет вытягиваться из трубы аспирационного извещателя. Может быть один кондиционер включен, а другой выключен, в результате отверстия одной трубы будут находится в различных условиях, возможно "перетекание" воздуха в трубе из одной части в другую. Для исключения этих эффектов необходимо обеспечить высокую скорость воздушного потока в отверстиях, увеличивать диаметры отверстий и создать высокое разрежение в трубах.

Система раннего обнаружения пожара

Для эффективной противопожарной защиты серверные, ЦОД и дата-центры должны быть оборудованы системами раннего обнаружения пожара (СРОП). В своде правил СП 484.1311500.2020 для защиты серверных, центров обработки данных и т.д. рекомендуется применять извещатели пожарные дымовые аспирационные класса А (п. 6.6.21), то есть обеспечивающие обнаружение дыма оптической плотностью менее 0,8%/м в одном отверстии. Разрешается размещение труб с воздухозаборными отверстиями на решетках входа горячего воздуха в системы прецизионного кондиционирования, в местах выхода горячего воздуха из активного оборудования, под перекрытиями изолированных "горячих" коридоров, в местах входа горячего воздуха в установки межстоечного кондиционирования (п. 6.6.32).

Контролировать появление дыма на выходе из стойки достаточно проблематично, поскольку вентиляторы в блоках могут располагаться слева или справа, по высоте в стойке блоки тоже располагаются случайным образом, и определить место выхода горячего воздуха из активного оборудования в общем случае весьма проблематично. Эффективное обнаружение дыма в машзале может быть обеспечено при контроле оптической плотности среды на входе прецизионных кондиционеров (рис. 11). В местах входа горячего воздуха в установки межстоечного кондиционирования и на воздухозаборных решетках систем вытяжной вентиляции одно отверстие защищает максимум 0,4 м решетки (п. 6.6.32). Исходя из этого соотношения, прецизионный кондиционер с площадью входа порядка 2 кв. м должен быть защищен двумя трубами минимум с шестью отверстиями.

Рис. 11. Контроль дыма на входе кондиционеров

Однако если извещатели установлены в стороне от воздушных потоков от источника задымления, то увеличение числа извещателей не приведет к сокращению времени обнаружения пожара. В помещениях дата-центра концентрация дыма под перекрытием исключена, поскольку обычно присутствуют только горизонтальные воздушные потоки в нижней части помещения. Исключение составляют лишь машзалы с пленумом, который соединен с выходами горячих коридоров.

Без учета кумулятивного эффекта, то есть предполагая, что дым поступает только в одно отверстие, а не в несколько, для обеспечения чувствительности ИПДА по классу А для контроля двух кондиционеров с 12 отверстиями порог срабатывания должен быть: 0,8%/м разделить на 12 – менее 0,066%/м. Для контроля четырех кондиционеров с 24 отверстиями порог срабатывания должен быть, соответственно, 0,8%/м разделить на 24 – менее 0,033%/м. При 36 отверстиях для контроля шести кондиционеров порог срабатывания должен быть порядка 0,02%/м, что практически реализуемо.

Теоретически возможна защита и большего числа кондиционеров одним ИПДА, но возникают трудности локализации неисправного оборудования в машзале.

С другой стороны, при определении максимального числа отверстий необходимо учитывать наличие воздушных потоков на входе кондиционеров. Если при отсутствии воздушных потоков минимальный поток через каждое отверстие в трубе должен быть не менее 2 л/мин, то в условиях машзала эта величина должна быть увеличена минимум в два раза, до 4 л/мин. Для защиты одним ИПДА шести кондиционеров необходимо создать разрежение 450 Па при суммарном воздушном потоке 165 л/мин, тогда через каждое из 36 отверстий будет проходить воздушный поток 4,5–4,7 л/мин. Поскольку длина труб небольшая, например четыре трубы по 8 м с расстояниями между отверстиями минимум 0,72 м и максимум 1,72 м (рис. 12), то даже при одинаковых отверстиях диаметром 3 мм баланс по чувствительности составляет 96%, время транспортировки – 15 с. Необходимо отметить, что высокие уровни разрежения при больших значениях воздушного потока обеспечивают только аспирационные извещатели с мощными вентиляторами осевого типа. Аспирационные извещатели с вентиляторами центробежного типа не могут обеспечить одновременно высокие уровни разрежения и воздушного потока, что приводит к необходимости сокращения числа защищаемых кондиционеров до одного– двух и к соответствующему увеличению числа аспирационных извещателей.

Рис. 12. Разводка труб для защиты шести кондиционеров

Натурные испытания ИПДА

Тестирование аспирационных извещателей проводилось в реальном машзале с выделенными холодными коридорами и рядами прецизионных кондиционеров вдоль стен. В стандартном тесте используется многожильный медный кабель сечением 0,078 кв. мм с ПВХ-изоляцией толщиной 0,3 мм, который подключается к источнику переменного напряжения 6 В. Величина тока при подключении кабеля различной длины и при его нагреве изменяется в широких пределах, максимальный ток – 15 А. В первом тесте длина кабеля равна 2 м, сопротивление проводника достаточно большое и изоляция за 180 с нагревается до сравнительно небольшой температуры, при этом видимый дым практически отсутствует и запах хлористого водорода не чувствуется.

Во втором тесте используется кабель длиной 1 м, сопротивление уменьшается, соответственно увеличиваются ток и мощность нагрева проводника. За время нагрева 60 с изоляция кабеля плавится, пузырится и обугливается. При этом выделяется видимый светлый дым и появляется слабый запах горелой изоляции.

При проведении этих тестов образуется небольшое количество дыма, что характерно для ранней стадии пожара при эксплуатации электронного оборудования.

После успешного проведения тестов владельцы дата-центров могут быть уверены, что система пожарной сигнализации способна обнаружить и сформировать сигналы предупреждения при выделении незначительного количество дыма, как при этих тестах.

Уровень удельной оптической плотности среды в дежурном режиме до начала проведения тестов составляет 0,001–0,0012%/м. В первом тесте при нагреве тестового кабеля длиной 2 м в горячем коридоре оптическая плотность повышается до 0,004%/м (рис. 13).

Рис. 13. Удельная оптическая плотность при нагреве 2 м кабеля

Рис. 14. Нагрев 1 м кабеля в холодном коридоре

Во втором тесте при нагреве тестового кабеля длиной 1 м в течение 60 с в холодном коридоре (рис. 14) оптическая плотность повышается до 0,015%/м (рис. 15). При увеличении времени нагрева 1 м кабеля до 180 с оптическая плотность дыма повышается до 0,017%/м (рис. 16).

Рис. 15. Удельная оптическая плотность при нагреве 1 м кабеля 60 с

Рис. 16. Удельная оптическая плотность при нагреве 1 м кабеля 180 с

Таким образом, можно сказать, что длительность 60 с нагрева 1 м кабеля оптимальна, дальнейшее увеличение времени нагрева практически не приводит к увеличению уровня задымления.

Всего за два дня было проведено около 20 тестов в различных частях горячих и холодных коридоров. Результаты испытаний показали высокую эффективность защиты оборудования независимо от расположения очага.

Почему сложно обеспечить высокую защиту

Область применения высокочувствительных аспирационных извещателей не ограничивается дата-центрами, ЦОД и центрами управления.

Противопожарная защита объектов точечными и линейными дымовыми извещателями на уровне нормативного своевременного обнаружения очага не обеспечивает высокую защиту материальных ценностей. По сигналу пожарной тревоги персоналу далеко не всегда удается пресечь развитие очага использованием огнетушителей. Требования по раннему обнаружению, обеспечивающему минимальный уровень ущерба, определены в Своде правил по проектированию, монтажу, вводу в эксплуатацию и обслуживанию аспирационных дымовых извещателей, выпущенном Ассоциацией пожарной промышленности, причем первая версия этого стандарта была опубликована еще в 1996 г., более 25 лет назад.

Игорь Неплохов, Технический директор ООО «Пожтехника», к.т.н.