Что нужно для домашнего сервера
Цикл статей: построение защищённого NAS, либо домашнего мини-сервера
Статьи цикла:
Как видно из новостей, облака и сервисы крупных компаний — это удобно и надёжно, но далеко не всегда:
Так что, кормить облачные сервисы — хорошо, но в некоторых случаях «своя рубашка ближе к телу».
Изначально, одной из моих целей являлось исследование построения собственной системы, в частности NAS с возможностью работы «домашним сервером».
Постепенно возникла идея, что в свете недавних событий, информация такого плана интересна, и неплохо бы аккумулировать её в одном месте, структурировать и дополнить.
В итоге, должно сформироваться что-то вроде общедоступных best practices для энтузиастов, начиная от выбора и сборки железа и заканчивая программным обеспечением.
Данная статья является оглавлением к статьям по построению NAS.
По этим практикам желающие смогут построить свой NAS на приемлемом инженерном уровне.
Затем, исправить ошибки, дополнить своими идеями и, при желании, опубликовать свой вариант, улучшив практики и пополнив общую базу.
Основной практической целью построения системы было дать мне возможность безопасно работать с моими данными из любого места, где есть Интернет.
Следствием из этого, главной задачей построения данного NAS стало обеспечение точки синхронизации в виде системы управления Git репозиториями и системы резервного копирования.
Прочие задачи — это коллаборация через self-hosted облако, построение системы мультимедийной поддержки, репликация данных на сторонние облака и хранение относительно статичных данных, таких как книги, фильмы, музыка.
Домашний сервер для работы и не только. Организация рабочего места ленивого инженера
Однажды став тем или иным специалистом в сфере IT, каждый из нас начинает окружать себя всевозможными инструментами для работы и отдыха. Далее это перерастает в целый комплекс мероприятий по поддержанию привычек, установленного расписания дня, комфортных условий труда и отдыха. Не претендуя на какую-либо уникальность, все же хотелось поделиться организацией «рабочего» процесса и отдыха ленивого администратора, как результатом знакомства с разными сферами IT, близкими к основной деятельности.
Вспоминая слова одного преподавателя вуза: «Кто такой инженер? Это же лентяй! Вот он лежит на диване, смотрит телевзор. И захотелось ему переключить канал — но вставать то лень! „Ай, ну его, каналы вставать переключать — пойду-ка разработаю пульт дистанционного управления. “. Всегда хотелось сделать что-то интересное и максимально это автоматизировать…
Итак, исходные данные:
0. Работа удаленным инженером-администратором. Поддержка парка серверов/сервисов по части software и hardware.
1. Место дислокации — загородный дом.
2. Гигабитный интернет с резервированием (Просто всегда был рад помочь местным сете-строителям с настройкой и сборкой серверов.)
3. Отностительно надежная инфраструктура — водо-, газо-, электроснабжение.
4. Желание тишины и спокойствия автоматизации для комфортной работы и быта.
Задачи:
1. Удобная организация рабочего места с возможностью оперативного мониторинга.
2. Необходимая функциональность в свете безопасности, быстродействия и широкого спектра задач.
3. Энергоэффективность.
4. Изоляция рабочей среды от потенциальных угроз.
Сначала все и вся было уделом одного обычного ПК средней конфигурации — здесь и работа, и развлечения и веб-сервер. Круглосуточная работа, особенно в жилой комнате ну никак не устраивала ни меня, ни домочадцев. Появилось желание сделать все „раз и надолго“. Были испробованы множество вариантов — несколько ПК для разных задач в разных местах, Remote Desktop к рабочему ноутбуку, во избежание всевозможных переустановок, проблем привязки к оборудованию или операционной системе. Но однажды попробовав поиграться с одной из систем виртуализации, понял — это то что решило бы сразу много проблем. Это случилось как раз во время, когда в ESXi было упразднено множество ограничений в бесплатной версии, да так что теперь гипервизор годился прямо в мини-продакшн, для дома это уже была пушка по воробьям Отлично, начнем-с.
Первые грабли не заставили себя ждать. При переносе штатным инструментом (VMware vCenter Converter Standalone Client) ОС Windows 7 из доживающего свое винчестера ноутбука конечно же был словлен блускрин. Решение — загрузочный диск с любым редактором реестра, активация необходимых драйверов путем правки нужных значений (вариант решения).
Как же было приятно потом „лечить“ и украшать медленную 5-летнюю систему! Был произведен перенос всего медиаконтента, „не очень нужных“ программ, система сжата с 500 до 50 гигабайт. Все было чудесно, но, конечно сразу же захотелось „побыстрее“. Здесь начались размышления по поводу, собственно, серверной части. Было решено построить систему с запасом, максимально использовав комплектующие, которые уже были. Основное требование — бесшумность и производительность.
Итак, корпус — был вот такой: INPC DL36 — прочный, просторный корпус, который отлично подходил под все требования — полноценный размер материнской платы, 3U высота для использования полноценных радиаторов и бесшумного блока питания.
Вот как это выглядит на данном этапе:
Вид спереди, диски можно менять не выключая сервер:
Попутно был развеян миф о потребности регулярной перезагрузки Windows:
Итак, сервер собран, далее приступим к повышению надежности в доступных нам пределах. Мною было продумано множество вариантов бесперебойного электропитания дома в целом, и сервера, в частности. От выделенного ИБП с минимально необходимой мощностью для питания сервера и базовых сетевых устройств до полного резервирования всего дома трехфазным ИБП. В итоге проб и ошибок был выбран все же самый адекватный вариант — ИБП средней мощности с запасом для питания критических устройств в течение хотя-бы 12 часов. Таковыми являются газовый котел, собственно, сервер, коммутатор провайдера, роутер, внутренние коммутаторы, видеокамеры, автоматические ворота, дежурное 12В освещение, аварийные розетки в доме и подсобном помещении. Добавление следующего по важности устройства — чайника, насосной станции очень сильно повышает требования к ИБП, поэтому в случае надобности аварийное снабжение переводится на бензиновый генератор. В качестве источника бесперебойного питания применен APC Smart-UPS 1500, в крайнем случае — достаточный для пуска 0.75кВт насосной станции. Аккумуляторный блок собран из 2х120А*ч батарей.
Потребление резервируемых устройств в штатном режиме:
Организация сети. В который раз пришлось на своем опыте убедиться в законе — если по плану необходимо проложить два кабеля — надо закладывать четыре! Даже без систем умного дома. После разнообразных перестановок была применена следующая схема. Для моей реализации сети идеальным роутером оказался, конечно же, MikroTik. Абсолютно все необходимые функции за минимальную стоимость, с минимальным энергопотреблением. Простая настройка локальной сети, безопасности доступа извне, резервирования каналов связи, дополнительных сервисов — устройство класса „один раз разобрался, настроил и забыл“. Функция резервной маломощной точки доступа Wi-Fi, потому как качественная раздача не является основной задачей подобных устройств. В роли главной точки беспроводного доступа был заказан небезызвестный Ruckus — поставил и забыл, проблемы с Wi-Fi прекратились раз и навсегда.
Два аплинка от провайдеров проверяются на доступность по приоритету (distance) — в случае проблем с приоритетным провайдером автоматически происходит переключение на резерв. Решение простое, не самое надежное, но, как правило, достаточное при типичных проблемах сетей в частном секторе — обрывы кабелей/отсутствие электропитания.
Далее хотелось бы рассказать, зачем же это все, собственно, затевалось и какой получился результат. Для каждой группы задач была установлена отдельная виртуальная машина, а именно:
1. Основная рабочая система на базе Windows 7, та самая, с трудом и заботой перенесенная со славно поработавшего ноутбука.
2. Отдельная система для ведения финансового учета и проведения переводов — так же, впрочем, перенесенная с нетбука.
3. ОС с софтом для видеонаблюдения. Хотя полностью независимые системы и имеют свои преимущества — но полугодовой опыт использования виртуальной машины для этих целей показал отличную надежность такого решения. Видеонаблюдение было построено на базе камер Hikvision и бесплатного софт-сервера от этого же производителя.
4. Сетевое хранилище для медиаконтента (FreeNAS) — в основном для удобного обмена файлами между устройствами внутри локальной сети и просмотра на фото/видео на телевизоре.
5. Unix сервер, Debian/Ubuntu, без GUI. Как же без простой, безотказной системы под рукой — собрать статистику и вывести показания датчиков на веб-сервер, перекодировать видео с помощью ffmpeg, протестировать скрипты, и т.д.
6. Бонусы — однажды в экстренной ситуации пришлось даже спасать крупный сайт, вытаскивая контент из проблемного рейда, на лету завернув его в виртуальную машину и переместив на временный сервер.
Для взаимодействия с виртуальной средой установлен ПК с 23» монитором, на котором есть относительно мощная видеокарта для видео/игр, подключение к машинам происходит по RDP либо SSH. Если уж совсем лениво — то с ноутбука, лежа на диване.
После всех настроек, проб и ошибок, наконец-то можно сказать что все работает, как и было запланировано! Казалось бы, стольким мелочам было уделено внимание — но в сумме это дало очень много выигранного времени и средств, а именно на включения, выключения, замены, контроль всего потенциального парка домашних устройств.Теперь можно больше сконцентрироваться на основной деятельности, не переживая об отключениях электричества, падающих, забытых, украденных ноутбуках, посыпавшихся жестких дисках и прочих сюрпризах. Надеюсь что мой опыт будет интересен и, возможно, кого-то так же мотивирует применить свои профессиональные знания для обустройства рабочего места на дому!
Домашний веб-сервер, или сам себе хостинг-провайдер
Для того, чтобы сделать свой веб-сервер дома, нам понадобится компьютер и постоянный доступ в интернет с внешним IP-адресом, как это проверить описано дальше.
Делать сервер буду из старого нетбука Samsung N102SP со сломанной клавиатурой, для небольших нагрузок его вполне достаточно, к тому же он маленький и совсем не шумит. Интернет дома у меня раздаётся wifi роутером tp-link TL-WR840N, через него и буду подключать свой сервер.
Ставить буду Centos 7, качаем отсюда минимальный образ (Minimal ISO), образ записываю на флешку с помощью программы Rufus. Теперь надо загрузить нетбук с флешки, и тут возникает первая проблема, так как клавиатура не работает, не могу войти в биос, внешнюю usb клавиатуру он не видит, сброс биоса решает проблему (в нетбуке Samsung N102SP биос сбрасывается замыканием контактов rtc reset под крышкой memory, замыкать надо на 30 секунд), выбираем в биосе приотритетную загрузку с флешки и начинаем установку, даже при минимальной версии Centos 7 устанавливается в графическом режиме. Никаких сложностей с установкой возникнуть не должно, удаляем все старые разделы на диске и отдаём все под Centos, устанавливаем пароль root и прописываем настройки сети, в моем случае подключаемся к домашней сети wifi (это можно сделать и потом с помощью команды nmtui), несколько минут и Centos 7 установлен.
Заходим под root. Останавливем firewall командой «systemctl stop firewalld», отключаем firewall из автозагрузки командой «systemctl disable firewalld». Пока он нам не нужен, настроим firewall позже. Еще надо обязательно отключить спящий режим при закрытии крышки нетбука, для этого надо в файле /etc/systemd/logind.conf заменить строку «#HandleLidSwitch=suspend» на строку «HandleLidSwitch=ignore», затем перезапустить командой «systemctl restart systemd-logind».
Теперь можно мой нетбук поставить в удаленный угол и забыть про его физическое существование, все дальнейшие действия со своим домашним веб-сервером можно произвоить через ssh.
Теперь нужно настроить wifi роутер, в случае с tplink открываем tplinkwifi.net логин и пароль по умолчанию admin, в разделе «Состояние» смотрим состояние WAN, IP адрес должен быть статическим и не должен начинаться с 192.168.х.х, 172.х.х.х, 10.х.х.х, в противном случае свяжитесь с провайдером и попросите предоставить внешний IP, скорее всего это можно сделать и через личный кабинет, мой провайдер предоставил мне IP за 90 рублей в месяц. Все новые настройки нужно прописать в разделе «Сеть/WAN». Теперь нужно зарезервировать внутренний IP адрес на роутере для нашего сервера, заходим в раздел «DHCP/Список клиентов DHCP» и находим там наш сервер (чтобы узнать IP на сервере наберите команду ifconfig), после копируем MAC-адрес и переходим в раздел «DHCP/Резервирование адресов» и добавляем там MAC-адрес нашего сервера и его IP. Всё, теперь роутер всегда будет выделять для нашего сервера этот IP. Теперь надо пробросить порты, чтобы при обращении из интернета роутер отправлял запросы на домашний веб-сервер, заходим в раздел «Переадресация/Виртуальный сервер» и добавляем 80 порт. Также добавляем 22 порт, чтобы можно было подключаться к серверу через ssh. У меня при добавлении 80 порта возникала ошибка «Порт удалённого управления веб-интерфейсом конфликтует с портом виртуального сервера». Чтобы этого избежать предварительно изменим порт удалённого управления на 8080, для этого откроем вкладку «Защита/Удалённое управление». Теперь управление роутером доступно по адресу tplinkwifi.net:8080/
Для удалённого управления веб-сервером качает утили Putty с www.chiark.greenend.org.uk/
Теперь для полнофункционнальной работы веб-сервера установим необходимые компоненты, первым делом подключим репозиторий Epel, там есть практически всё необходимое для автоматической установки, вводим команду «yum install epel-release». Затем для отслеживания состояния сервера устанавливаем htop командой «yum install htop», для удобной работы с файлами усталавливаем midnight commander, командой «yum install mc», теперь ставим Apache, для этого вводим «yum install httpd», запускаем и ставим в автозагрузку командами «systemctl start httpd» и «systemctl enable httpd», теперь установим MariaDB командой «yum install mariadb-server», аналогично запускаем и ставим в автозагрузку «systemctl start mariadb» и «systemctl enable mariadb», производим первичные настройки при помощи команды «mysql_secure_installation», устанавливаем root пароль, удаляем анонимного пользователя и тестовую базу, затем нужно устанавить PHP с необходимыми модулями «yum install php php-mysql php-common php-mbstring php-mcrypt php-devel php-xml php-gd», перезагружаем httpd командой «systemctl restart httpd». Теперь при вводе в браузере IP адреса видим приветственную страницу Apache. Корневой каталог находится в «/var/www/html/». Вот теперь наш домашний веб-сервер доступен с любой точки планеты.
Домашний сервер
Вводная часть
Ребенок подрос и появилась желание собрать дома свой сервер с виртуализацией для экспериментов и повседневного использования. Повысить скилл в Linux, продуктах Citrix, python. Посмотреть внутрянку Elastic Search и других интересных продуктов.
Цены указаны на февраль 2021 г. К концу мая 2021 г. цены выросли существенно.
Выбор оборудования
Кроме желания необходима финансовая составляющая и выбор оборудования.
Б/у оборудование особого желания не было покупать, поэтому необходимо было выбрать максимально бюджетное и производительное.
E5-2630L v3
Для охлаждения взял Cooler Master Hyper H412R 120W RR-H412-20PK-R2 за 1600 р. Как показали тесты справляется на ура. Пока менять не планирую.
8000 р. Пока будет 3 планки и жду следующих скидок и акций 🙂
Далее корпус, важны были следующие критерии:
нижнее расположение блока питания
кожух для блока питания
место для кабель-менеджмента
возможность установить 3 hdd и хотя бы один ssd
установить несколько 140 мм вентиляторов на вдув и выдув
В итоге выбрал Deepcool MATREXX 55 MESH за 3490 р. Многие скажут, что в него можно установить всего 2 3,5 hdd. Да это так, но отзывы по нему хорошие и цена приятная. Ну а третий hdd будет лежать на кожухе.
К корпусу купил 5 вентиляторов ID-Cooling White (WF-14025) и один ID-Cooling White 120mm 4-Pin 800-1800 RPM (WF-12025) обошлись в 2950 р.
В планах купить ASUS HYPER M.2 X16 CARD V2 и еще парочку таких же ssd и перенести систему на sata ssd.
Провел тесты nvme накопителя встроенными средствами разным размером и количеством :
В итоге сервер в первоначальной конфигурации немного вышел из бюджета и составил
Операционная система
Пока решил остановиться на Linux с KVM. В качестве дистрибутива выбрал Fedora далее устанавливать KVM и обвязкой.
Установка ОС
В использовании Linux можно сказать новичок и это вызывает некоторые трудности из-за древней видеокарты. Установка заработала в режиме загрузки UEFI и с упрощенной графикой.
Разбиваем диск на разделы с использованием LVM.
Установка на nvme накопитель прошла достаточно быстро.
После установки система запускает в максимальном разрешении HD 1280×1024.
и обновляем загрузчик
Перехожу в консольный режим Alt + Ctrl + F3
Быстрого решения не нашел и в итоге ставлю lightdm и включаю его. Если подскажите решение буду благодарен.
Первым делом установка обновлений и установка минимального набора пакетов ОС
Дальше настало время установи kvm для возможности запуска виртуальным VM. Для этого устанавливаем kvm, необходимых пакетов и утилит для мониторинга системы:
Дальше в планах развернуть схему Citrix Virtual Desktop. В качестве контроллера AD использовать Debian c SAMBA 4.
Домашний мини сервер
За последние годы в типичной домашней компьютерной сети появилось множество ресурсоемких сервисов, для работы которых требуется отдельный компьютер — мини-сервер. Для чего же нужны, какими бывают и на что способны домашние серверы.
Десятилетие назад пределом мечтаний любой среднестатистической семьи было обзавестись хотя бы одним компьютером с доступом в Интернет: родителям и детям приходилось работать за ним поочередно. Как говорится — в тесноте, да не в обиде. Сейчас же личный ноутбук, планшет или смартфон, а зачастую все три устройства сразу, есть почти у каждого взрослого человека и даже ребенка.
Из-за этого современные жилища по вечерам превращаются в подобие читального зала, где каждый член семьи уединяется в своей комнате за веб-серфингом, просмотром кинофильмов или компьютерными играми. Тем не менее, компьютеры в домах отнюдь не разрознены, а являются частью небольшой локальной сети. Сравнительно недавно список сетевых устройств пополнили умные телевизоры и медиаплееры с выходом в Интернет. Но многим пользователям этого мало и нередко под различные сетевые задачи выделяется целый компьютер, выступающий в роли сервера.
Зачем нужен домашний сервер
В качестве сервера обычно используется тот же десктоп, за которым люди ежедневно работают, или ноутбук, который вообще-то не предназначен для безостановочного, в течение многих месяцев функционирования. Такой подход, конечно, имеет право на жизнь, да и с финансовой точки зрения он выгоднее, но назвать его рациональным нельзя. Во-первых, запуск на таком компьютере ресурсоемкого приложения, например современной игры с трехмерной графикой, повлечет за собой снижение скорости обмена данными. Во-вторых, для создания домашнего сервера далеко не во всех случаях необходим мощный ПК, который, работая круглосуточно, будет потреблять массу электроэнергии, да еще и изрядно шуметь. В-третьих, компьютер, за которым ежедневно работаешь, можно случайно выключить или перевести в спящий режим, а ноутбук и вовсе захватить с собой в дорогу, тем самым нарушив всю домашнюю компьютерную инфраструктуру. Учитывая вышесказанное, не возникает даже малейшего сомнения в целесообразности использования отдельного устройства — домашнего сервера.
Слово «сервер» у многих людей ассоциируется со сверхмощным компьютером, который из-за внушительных размеров и высокого уровня шума устанавливается в отдельной комнате. Но это верно лишь в отношении вычислительных систем крупных предприятий и научных лабораторий, тогда как домашний сервер являет собой полную противоположность — компактное, энергоэффективное и почти бесшумное устройство. Небольшие размеры мини-сервера позволяют установить его в укромном месте: на полке, под столом или за телевизором, чтобы не портить интерьер комнаты. Минимальное энергопотребление позволит не опасаться разорительных счетов за электричество, а низкий уровень шума или его полное отсутствие не помешает сну.
Как использовать мини-сервер
Мини-серверу можно смело поручить выполнение самых разных задач, в результате чего появится возможность реже включать настольный компьютер и всегда брать с собой в дорогу ноутбук, а не оставлять его дома. Все задачи, с которыми способен справиться мини-сервер, можно условно разделить на несколько основных групп.
Если же имеется домашний сервер, то игру можно не выключать сутками напролет, благодаря чему ваши друзья в любое время смогут присоединиться к сетевым баталиям.
Системный блок для сервера
В зависимости от потребностей домашний сервер может представлять собой устройство разного размера и форм-фактора. Простейший мини-сервер состоит из беспроводного маршрутизатора и внешнего жесткого диска с интерфейсом USB. Такое решение сгодится на роль сетевого хранилища, а после установки на маршрутизатор альтернативной прошивки, к примеру OpenWrt или DD-WRT, — еще и на роли веб-сервера и клиента BitTorrent.
Если понадобится более емкий и быстрый сетевой накопитель, рекомендуем выбрать NAS-систему. Такое устройство оснащается двумя или четырьмя жесткими дисками, объединенными в RAID-массив, парой гигабитных адаптеров Ethernet и, как правило, предустановленным клиентом BitTorrent.
Если нужен компактный домашний сервер, который в то же время обладал бы возможностями полноценного компьютера, стоит присмотреться к неттопам — миниатюрным системным блокам, построенным на базе экономичных процессоров Intel или AMD. При желании мини-компьютер можно собрать собственноручно на основе материнской платы Mini-ITX или Barebone-системы — почти готового к использованию компьютера, в который нужно установить лишь модули оперативной памяти и жесткий диск, после чего можно заняться вопросом размещение серверов в датацентре. Такие решения, как правило, могут похвастаться более производительным, чем у неттонов, процессором, а значит, подойдут для обработки видео и запуска игрового сервера.
Конфигурации домашнего сервера
Итак, из чего должен состоять домашний сервер? Прежде всего, определимся с общими требованиями к его конфигурации.
Комплектуем свой мини-сервер
В завершение дадим краткий обзор компонентов, из которых мы собрали мини-сервер, послуживший тестовым стендом для разного рода испытаний.
Миниатюрный и легкий неттоп можно закрепить на задней панели монитора или телевизора.
Таким образом, мы получили достаточно мощный, надежный, компактный и тихий сервер, способный обеспечить работу практически всех сетевых сервисов, которые могут понадобиться дома. При этом его в любой момент можно превратить в обычный ПК, подключив монитор, клавиатуру и мышь. Разве что поиграть не удастся: на системной плате есть свободный слот PCI Express х 16, но вот мощности блока питания на игровую видеокарту явно не хватит.
Будущее домашних серверов
В данный момент трудно дать точные прогнозы относительно дальнейшего развития домашних серверов. С одной стороны, мини-серверы не вписываются в концепцию посткомпьютерной эпохи, согласно которой пользовательские данные не только хранятся, но и обрабатываются на сервере компании — поставщика облачных услуг. С другой стороны, почти ежедневно поступают сообщения о хакерских атаках на популярные вебсервисы, из-за чего многие побаиваются хранить личные данные в облаке. Так что домашний сервер, доступ к которому имеют лишь локальные компьютеры, выглядит наиболее безопасным и надежным решением.