Что находится в серверной
Требования к серверному помещению
Планируете организовать серверное или кроссовое помещение, узел связи или помещение для размещения центрального оборудования средств технической безопасности – тогда рекомендую ознакомиться с данной статьей, в которой попробую предостеречь от наиболее распространенных ошибок (ВНИМАНИЕ – много текста и не всегда с указанием нормативных документов, “по-простому”). Нужно особо учитывать, что данные помещения не только являются “хранилищем ценностей” (железки достаточно дороги), но и зачастую критически важными узлами, обеспечивающими нормальное функционирование компании. Статья описывает решения, которые применимы для помещений, где планируется разместить от 2 до 10 телекоммуникационных шкафов.
Подбор помещения
Технологические ИТ-помещения (далее упрощенно – “серверная”) часто располагают не там где удобно, а “где получилось”. И тут нужно уметь сказать “нет” и попробовать подобрать, что-то иное, если выбранное помещение не удовлетворяет критериям:
Архитектурно-строительные решения
Помещение выбрано, необходимо заняться его отделкой.
Дверь – противопожарная, не ниже EI30 (заполнение проемов допускается на класс ниже, чем сами стены/перегородки), проем в свету не менее 850х2050 мм (для “крупных” серверных – оптимальнее с двумя полотнами, например, 300 и 900 мм и высотой 2,2 м) и с выпадающим порогом (как закатывать тележку с оборудованием?), открывание наружу – это нужно учитывать еще при создании планировочных решений, так как это требование обычно приводит к сужению путей эвакуации (лишнее проблемы архитекторам).
Потолок – красить. Если все-таки нужна “красота”, то можно сделать решетчатый типа “Грильятто”, но не стоит забывать, что он достаточно хрупкий, а в серверной работы обычно проводятся постоянно и через некоторое время он скорее всего будет выглядеть “весьма печально”. Никакого “Армстронга” – обычные плитки сами являются источником пыли, и даже если панели металлические, то сверху панелей накапливается пыль – при снятии плитки, она оказывается в оборудовании.
Перед “созданием” покрытия пола произвести обеспыливающую обработку и потом использовать либо антистатический линолеум (обязательно смотрите руководство по монтажу – там есть нюансы по заземлению) или фальшпол. Второе конечно предпочтительнее в плане обслуживания, но не всегда возможно, и скорее всего внутри помещения придется делать пандус или ступеньки – это “съест” полезное место. Подробнее см. в статье “Фальшпол серверной”.
Как само-собой разумеющееся после завершения отделочных работ: в помещении не должно быть отслаивающихся фрагментов краски, пятен плесени и следов подтоплений, пыли и грязи, обоев и остатков краски. А вот несколько плиток фальшпола полезно иметь “прозапас”.
Электроснабжение и заземление
Потребителей в серверной, обычно разбивают на группы:
Это необходимо сделать до начала работ по проектированию, как и прикинуть необходимые мощности (фактически это и есть исходные данные для проектировщика по электроснабжению).
Гарантированное электроснабжение обеспечивают с использованием второго (или третьего) независимого ввода электроснабжения, например, от дизель-генераторной установки (ДГУ).
Мероприятия по установке ДГУ достаточно затратные, поэтому необходимо рассмотреть критически данную “затею”. Так при отключении питания в офисе/бизнес-центре сотрудники смогут работать только ограниченное время, которое упрется не только в поддерживаемые сервисы в серверной, но и ИБП/аккумуляторы в ноутбуках на рабочих местах. Таким образом, вполне возможно достаточно обеспечить нормальное “сворачивание” сервисов на вычислительных мощностях, размещенных в серверной.
Бесперебойное электропитание обеспечивается в большинстве случаев достаточно дорогостоящими источниками бесперебойного питания (далее – “ИБП”). К тому же, у них есть “расходник”, который нужно периодически менять – это аккумуляторные батареи (далее – “АКБ”). С одной стороны – больше АКБ, больше время автономной работы, с другой – больше и расходов при замене. Как вариант “оттянуть” очередную замену – использовать 8-10 летние АКБ, которые сейчас стали не сильно отличаться по цене от 3-5 летних.
Важный нюанс – АКБ должны хорошо охлаждаться, так как при превышении температуры эксплуатации выше 25 °С они начинают терять емкость. Неоднократно видел, как по незнанию дополнительные АКБ от стоечных ИБП размещали в форме башни позади шкафов, где находится фактически самая горячая зона в серверной.
Если необходимое время бесперебойной работы составляет более 5-10 минут, гарантированного питания нет, а реальная нагрузка в серверной более 10 кВт, то стоит задуматься о ИБП для кондиционеров (крайне неприятная затея, так как у них большие пусковые токи из-за чего “вырастает” номинальная мощность ИБП).
Подробнее о ИБП см. статью “Подбор ИБП”.
В помещении необходимо установить выделенную шину заземления (дополнительная система уравнивания потенциалов), к которой подключить все шкафы, лотки, рамы оборудования и прочие металлические конструкции.
Освещение
С освещением, чего только не встретишь на просторах интернета, поэтому указываю нормативные документы.
В помещении серверной необходимо обеспечить освещенность не менее 400 лк (СП 52.13330.2016 Естественное и искусственное освещение. Актуализированная редакция СНиП 23-05-95*, Приложение Л (обязательное), Таблица Л.1, п. 18 или СН 512-78 Инструкция по проектированию зданий и помещений для электронно-вычислительных машин, Таблица 4 – где дается уточнение по высоте “0,8 м от уровня пола”). В помещениях связи (к которым можно отнести кроссовые) – 200 лк (ГОСТ Р 55710-2013 Освещение рабочих мест внутри зданий. Нормы и методы измерений, 5 Нормы освещения, Таблица 8). Есть еще один вариант в “забавном” документе “ГОСТ Р 53246-2008 Информационные технологии (ИТ). Системы кабельные структурированные. Проектирование основных узлов системы. Общие требования, п. 7.2.3.2” – 500 лк, но этот документ “нормативом” можно назвать только если очень “приперло” (он фактически является “криво” переписанным пособием по проектированию от одного СКС-ного производителя).
Далее для серверного помещения, согласно “Федеральный закон от 22 июля 2008 г. N 123-ФЗ “Технический регламент о требованиях пожарной безопасности”, Глава 5. Классификация пожароопасных и взрывоопасных зон, Статья 18. Классификация пожароопасных зон”, необходимо определить класс пожарной опасности – скорее всего будет П-IIa (определения зон в данном ФЗ дополняют требования ПУЭ, Глава 7.4. Электроустановки в пожароопасных зонах). В пожароопасной зоне необходимо соблюдать требования ПУЭ
6.6.5 «…Для помещений, отнесенных к пожароопасным зонам П-IIа, должны быть использованы светильники с негорючими рассеивателями в виде сплошного силикатного стекла…»
и 7.4.32, который определяет для люминесцентных светильников оболочку не ниже IP2X (для LED-светильников требования к оболочке не предъявляются, возможно потому что они не были распространены на момент написания ПУЭ). Говорят, что американский стандарт EIA/TIA-569-B:2004 не рекомендует использовать люминесцентные светильники (якобы из-за уровня помех, который не указывается) – подтвердить или опровергнуть не могу, так как текста стандарта я не видел. Однако СН 512-78 в ранее упомянутой таблице указывает именно люминесцентные лампы.
При расстановке светильников нужно учитывать план размещения оборудования (чтобы светильники не оказались непосредственно над шкафами или за лотками).
Для серверных помещений, согласно “ГОСТ Р 55842-2013 (ИСО 30061:2007) Освещение аварийное. Классификация и нормы” п. 4.2.2, можно “притянуть” необходимость установки резервного освещения (актуально для “солидных” серверных) и в п. 5.2 оговаривается его значение, как не менее чем 30% от нормированной освещенности.
Выключатель (если у нас класс П-IIа) п. 7.4.24 ПУЭ рекомендует выносить за пределы помещения, но можно и внутри – тогда с оболочкой IP4X (как и все электрощиты в помещении).
И маленький нюанс: предусматривайте в телекоммуникационных шкафах локальное освещение на задней панели (где все разъемы оборудования) – свет там лишним никогда не будет.
Кондиционирование и вентиляция
При выборе системы кондиционирования необходимо сразу определиться со схемой организации воздушных потоков. Базовый принцип – минимизация перемешивания охлажденного и горячего воздуха, на этом построены “холодные и горячие коридоры”. Также нужно добиваться, чтобы на вход кондиционера (где происходит забор), поступал наиболее нагретый воздух – это обеспечит лучший КПД системы.
Можно выделить следующие решения:
Какое оборудование «живет» в серверной
Цели создания серверной.
Имея один сервер, в большинстве случаев, нет необходимости в отдельном серверном помещении.Однако, в том месте, где размещен сервер, как правило, сосредоточены и другие виды оборудования, это — АТС, системы видеонаблюдения, сетевое и прочее оборудование, которые обеспечивают надежную работу компании. В таком случае, целесообразно выделить отдельное, защищенное помещение.
Серверная становится необходимостью, если:
Строительство новой серверной комнаты либо модернизация старой, подразумевает осуществление приличного перечня различных работ. Поверьте, мы знаем, о чем говорим!
Если Вы не можете определиться, с чего начать, кому звонить раньше, но все-же привыкли действовать «с умом» – это статья для Вас. Непрофессиональный выбор оборудования, непродуманный подбор специалистов, нелогичная последовательность действий и т.д. – это потраченное время, деньги и нервы. Разумеется, Вы услышите массу мнений по поводу того, с чего и как начинать, но наши решения мы предлагаем на основе многолетнего опыта и подкрепляем многочисленными успешно реализованными проектами.
Решение о строительстве и размере серверной принято! Начинаем проектировать. Одной из важных составляющих для создания проекта является план здания для оптимального выбора помещения. К выбору помещения в здании, размеру площади, правильному оснащению оборудованием, необходимо подходить абсолютно серьезно. От соблюдения всех правил и стандартов по оборудованию серверной, зависит степень возникновения риска уничтожения накопленной компанией информации. Малейший недочет или вмешательство третьих лиц может нанести непоправимый ущерб и повлечь непредусмотренные затраты на восстановление работоспособности Вашего бизнеса.
Прежде чем приступить к выбору оборудования, нужно подобрать помещение, которое станет хорошей серверной (а не «намеком» на нее). Каждое серверное помещение уникально, но определим общие, основные требования:
Стойка для серверного оборудования, серверный шкаф.
Итак, выбрав помещение для серверной, перейдем к установке в ней сетевого оборудования. Чтобы оборудование было упорядочено, необходимы телекоммуникационные стойки — специальные конструкции, предназначенные для удобного, компактного и безопасного размещения электротехнического и оптического оборудования передачи данных. Стойки предназначаются для эксплуатации в проветриваемых закрытых помещениях офисного или промышленного типа. Стойки с системами охлаждения и дверями — это, по сути, серверные шкафы. Шкафы с индивидуальным охлаждением стоят дороже, но позволят сэкономить на кондиционерах внутри серверных. Будет охлаждаться только необходимый объём. Отличия серверной стойки от серверного шкафа заключается в том, что к серверной стойке обеспечивается более простой доступ, происходит более интенсивное охлаждение установленного оборудования — при кондиционировании помещения в целом, сама конструкция легче, меньше стоит.
Хороший шкаф способен пропустить через себя минимум три поколения активного оборудования, с привлечением минимальных затрат на усовершенствование технических характеристик относительно встраиваемого в него оборудования. Серверный шкаф — это оптимальная доступность, максимальное использование места внутри, долговечность, прочность, продуманность конструкции и т.д
Если Вы первый раз сталкиваетесь со стойками, то будет интересно знать, что ширина стойки составляет 19 дюймов (или 482,6 мм) — это стандарт, но встречаются стойки с шириной 10 или 23 дюйма. Самая популярная глубина серверных шкафов и стоек используемых для размещения оборудования 800 мм, менее популярна глубина 1000 мм, еще реже встречаются, а главное востребованы шкафы глубинами 600 мм и 1200 мм. Крепежные отверстия располагаются на вертикальных элементах стойки каждые 1.75 дюйма (44,45 мм), эта величина называется одним юнитом — международная стандартизованная высота серверного и коммутационного оборудования (1U=44,45 мм). Высота стойки обычно указывается в количестве юнитов, что очень удобно — не нужно вычислять, сколько элементов поместится в стойку 42U. В нее поместится 42 элемента по 1U.
ИБП и электроснабжение для серверной
Когда у Вас один сервер, то достаточно одного мощного ИБП. Современные сервера легко заказать с блоками питания на два ввода, поэтому резерв питания обеспечить просто, даже если нет резервного ввода. Но серверная комната должна быть серьезно обеспечена бесперебойным электропитанием и этот вопрос важно решить еще на стадии проектирования, не забывая об импульсопротекторах, защите от грозовых разрядов, аварий по питанию в городе и защитном заземлении.
Все, что связано с обработкой, передачей или хранением данных, должно быть на 100% защищено. В более чем половине случаев причиной сбоев в работе является некачественное электроснабжение. При сбое электропитания одна некорректная сессия записи данных может разрушить всю файловую систему. Даже если сбои не приводят к катастрофическим последствиям сразу, то спустя некоторое время оборудование может выйти из строя попросту из-за постоянных циклов включения/выключения. По опыту, Вы скорее поменяете свои сервера, а ИБП — останутся.
Основные характеристики при выборе источника бесперебойного питания:
Организация климатических условий
Поддержание постоянных параметров климата в серверных настолько важно, что в некоторых странах сервер не ставят на гарантию, пока в серверной не установят прецизионный кондиционер. Такой же подход там характерен для любого высокотехнологичного оборудования, для ИБП в том числе.
Кондиционирование серверной — это гарантия того, что в случае перегрева или выхода из строя кондиционера, дорогостоящее оборудование будет сохранено. Идеальные условия для работы серверов — 40-50% относительной влажности и температура около 21-23 градусов Цельсия. Такие условия встречаются достаточно редко. Для соблюдения данных параметров нужны кондиционеры, которые смогут работать эффективно в режиме 24/7/365, независимо от температуры внешнего воздуха.
Основные типы кондиционеров, используемых в серверных комнатах:
Любой из этих вариантов имеет право на реализацию. Ориентация идет на бюджет и оценку рисков. Но наилучшим, с технической точки зрения, вариантом является прецизионный кондиционер.
Такое оборудование способно:
Стойки, серверы — это еще не все. Серверную нужно защитить еще как минимум от трёх факторов: несанкционированного проникновения, пожара и затопления. Для защиты от несанкционированного доступа желательно оснастить дверь в серверную приличным замком, в идеале — электронным. Доступ в серверную лучше предоставить только администраторам. Вне зависимости от используемого замка в серверной нужно установить одну или несколько камер наблюдения, а при обработке особо важных данных — установить сигнализацию, можно подключить ее к пульту охраны.
Наличие охранно — пожарной сигнализации (ОПС) и — Автоматической Установки Пожарного Гашения (АУПГ)— это обычные нормы безопасности. В серверной довольно много электрооборудования (весьма дорогого), и никогда не знаешь, что может случиться, в том числе по совершенно независящим от Заказчика причинам. Наличие АУПГ позволит потушить начавшийся пожар до того, как пожарный расчёт затопит всю комнату (и тогда ущерб будет значительно выше, поскольку будет залито пеной все, включая то, что даже и не горело).
Защита от затопления реализуется достаточно просто. По сигналу датчика автоматически отключаются все доступные источники воды, и, как и при любых других инцидентах, информируется оперативный персонал.
Мы рассмотрели основные аспекты, касающиеся построения серверного помещения. Как построить инфраструктуру, полностью отвечающую требованиям Вашей организации? На этот вопрос каждому предстоит ответить самостоятельно, мы лишь заострили внимание на типичных ошибках и упущениях, вывели основные постулаты, которыми необходимо руководствоваться при проектировании серверной комнаты. Азы того, что нужно, чтобы оборудовать серверную, мы попытались кратко и доступно описать. Конечно, лучше если всем процессом занимается одна компания, так как особенности, тонкости, небольшие нюансы лучше решать в комплексе, чтобы не допускать ошибок.
Техническая документация
разработка техдокументации по ГОСТ
Серверная комната (аппаратная) по ГОСТ Р 58242-2018
Серверная комната (аппаратная) по ГОСТ Р 58242-2018
Общие положения
Серверные комнаты (аппаратные) отличаются от телекоммуникационных комнат в основном тем, что они предназначены для размещения большого количества крупных единиц активного телекоммуникационного оборудования. Серверные комнаты могут также совмещать функции телекоммуникационных комнат и точки внешнего подключения. Серверная комната предоставляет среду с контролируемыми параметрами, служащую для установки активного телекоммуникационного оборудования, коммутационного оборудования, муфт, элементов системы заземления и выравнивания потенциалов и средств защиты.
Основным назначением серверной комнаты является обеспечение специально оборудованного пространства для терминирования кабелей магистральной подсистемы СКС на коммутационном оборудовании главного коммутационного центра и коммутационных центров здания (магистрального коммутационного центра).
В серверной комнате может располагаться этажный коммутационный центр, обслуживающий рабочие места пользователей, расположенные на одном этаже с серверной комнатой. Кроме того, в серверной комнате могут находиться точка разграничения и средства защиты внешних линий [из п. 6.1 ГОСТ Р 58242-2018]
Кабельная система серверной комнаты (аппаратной)
Серверная комната обеспечивает средства для администрирования и трассировки аппаратных кабелей и шнуров, соединяющих коммутационные центры с активным телекоммуникационным оборудованием.
Кабели горизонтальной и магистральной подсистем должны быть терминированы в серверной комнате на коммутационном оборудовании, отвечающем требованиям производителей кабельных систем и коммутационного оборудования. Перемещение точек терминирования кабелей горизонтальной и магистральной подсистем СКС в серверной комнате с целью внесения штатных изменений в схему коммутации запрещено. Для подобных целей следует использовать коммутационные и аппаратные шнуры [из п. 6.2 ГОСТ Р 58242-2018]
Телекоммуникационные трассы и пространства
Серверная комната является местом централизованного расположения активного телекоммуникационного оборудования (такого, например, как УАТС, вычислительные комплексы, коммутаторы видеосистем). Рекомендуется располагать серверную комнату как можно ближе к центру обслуживаемого ею здания.
Пространство серверной комнаты должно быть предназначено только для обеспечения работы информационных, телекоммуникационных систем и сопутствующих им сервисных систем. Запрещено размещать в серверной комнате оборудование систем электроснабжения, не относящихся к телекоммуникационным системам, и оборудование посторонних инженерных систем здания (например, систем водоснабжения, управления микроклиматом здания и т.п.).
Допускается располагать в серверной комнате оборудование систем контроля и управления микроклиматом и источники бесперебойного питания (ИБП) мощностью до 100 кВА, обслуживающие телекоммуникационное оборудование, установленное в серверной комнате, ИБП с мощностями свыше 100 кВА должны быть расположены в отдельных помещениях [из п. 6.3 ГОСТ Р 58242-2018]
Оборудование помещения
Оборудование серверной комнаты должно соответствовать ГОСТ Р 58241. Полы, стены и потолки в аппаратных рекомендуется обрабатывать средствами, препятствующими оседанию и накоплению пыли.
Доступ в серверную комнату является свободным только для авторизованного персонала, потому с целью ограничения доступа следует избегать использования дверей серверной комнаты для прохода через нее в другие помещения здания.
Для обслуживания серверной комнаты рекомендуется обеспечить выделенный источник питания от отдельного электрического щита. Требования к системе электроснабжения серверной комнаты определяют в зависимости от мощности, потребляемой активным оборудованием и вспомогательными системами, а также наличием специфических потребностей, установленных производителем используемого оборудования.
В серверной комнате должны быть обеспечены меры по защите оборудования от воздействия загрязняющих веществ, способных отрицательно влиять на работу установленного в ней оборудования и свойства материалов, входящих в его конструкцию. В случае превышения уровней концентрации загрязняющих веществ в воздухе серверной комнаты свыше максимально допустимых пределов, приведенных в таблице 1, должны быть применены такие меры, как пароизоляция, избыточное давление или абсолютные фильтры.
Требования пожарной безопасности к серверным помещениям: системы пожаротушения, нормы и правила
Нормы пожарной безопасности и газового пожаротушения в серверных помещениях учитывают высокий уровень пожароопасности установленного оборудования. Правила ПБ содержат акты:
Серверная комната – среда с контролируемыми параметрами, предназначенная для большого количества единиц активного компьютерного, коммутационного, телекоммуникационного оснащения. Назначение – место расположения и администрирования вычислительных комплексов, устройств хранения информации, организация электропитания, кабелей коммутационных схем.
В НПБ конкретного обозначения «серверной комнаты» нет. Под ней подразумевают:
Пожаротушение в серверной: нормы
Инструкция по безопасности учитывает особые требования к пожаротушению:
Категория серверной по взрывопожарной и пожарной опасности
Расчет категорий пожароопасности проводится по СП 12.13130. Серверные относят к помещениям технического характера, соответственно, они категорируются. Помещению присваивают категории группы B (пожароопасные), а точнее, в зависимости от площади, материалов, одно из значений от B1 до B4.
Требования к помещению серверной
Пожарная сигнализация в серверной
Автоматические установки тушения возгораний являют собой комплекс устройств оповещения с реагированием на огонь. Сигнализация ставится по умолчанию, поскольку входит в комплект АУПТ.
Нужно ли в серверной устанавливать систему пожаротушения
Установки объемного пожаротушения (АУГПТ) обязательные. Требование содержат следующие акты:
Площади больше 24 м. кв. оснащаются установками пожаротушения и сигнализацией обязательно.
Независимо от размера защищаются аппаратные с процессами, затрагивающими безопасность людей (СН 512 и п. 35.1 табл. А.3 СП 5.13130).
Что можно не оснащать
В рекомендательном порядке (но сигнализация обязательная) оснащаются АУПТ небольшие площади, рабочие места со средствами вычислительной техники и информатики (СВТИ), не требующие отдельных зон.
СП 5.13130 серверными называет помещения связных процессов. Из пункта 3.37 СН 512 можно заключить, что также под ними подразумевают от 3 и больше комплексов ЭВМ, с отдельным электропитанием, кабелями в специальной, только для них, комнате, зоне, зале, но не на обычном рабочем месте персонала.
Нужна ли противопожарная дверь в серверной
Дверь в серверную, противопожарная, остальные материалы тоже огнеупорные:
Правила пожарной безопасности для серверных
Нормы для объектов с электрооборудованием, действующей вычислительной техникой:
Системы и средства пожаротушения
НПБ установлено, что серверная от 24 м² оснащается автоматическими устройствами пожаротушения (модульное, централизованное оборудование). Помимо этого, желательно оснастить аппаратную ручными огнетушителями в количестве, из расчета огнетушащей способности баллонов для наличной площади.
Какой огнетушитель должен быть в серверной
Огнетушители предусматривают в таких случаях:
Устройства первичного тушения для серверной:
Система газового пожаротушения
СН 512-78 предписывает оснащать серверные АУГПТ. СП 5.13130 – просто АУПТ. Описанная ситуация допускает использовать газовое, и, c предостережениями, порошковое тушение.
Не применяют водяное пожаротушение (спринклеры, дренчеры) в ЦОД. Наблюдается небольшая коллизия норм: ГОСТ Р 53246 предписывает ставить спринклеры, а применять «сухие» установки тушения рекомендует, только если это уместно, что не совсем правильно.
Аэрозольные системы без водной основы незаслуженно реже используют в аппаратных – они лучше порошковых и бережнее. Более того, устройства компактные, легко заменяемые, удобные. ОТВ аэрозольных генераторов состоит преимущественно из газов (хладоны) и твердых частичек, не проводящих электричество, часть водяной пары ничтожная.
Огнетушащее вещество для ЦОД:
Почему газовое тушение предпочтительнее:
Редко используется в АУПТ, поскольку сложно доставить по трубам. Часто применяют автономные модули (Буран и пр.). Смесь необходимо подобрать для пожара класса E.
Нормы монтажа газового пожаротушения
Перед монтажом автоматических и автономных систем пожаротушения составляется проект, проводят расчеты по ГОСТ 50969, НПБ 88-2001. Применяют тушение станциями (чаще всего) или отдельными автономными модулями.
Стандартная схема ГАУП:
Нормы монтажа включают гидравлический расчет, определение расположения насадок (шаг, высота) и прочие параметры по ГОСТ для газовых автоматических установок пожаротушения в зависимости от огнетушащего вещества, размеров пространства, высоты потолков.