Уже в третий раз в Санкт-Петербурге под эгидой провайдера “Комфортел” проводится экскурсия Data Center Expedition PRO. Суть мероприятия — в течении одного дня получить максимально широкое представление о рынке дата-центров Санкт-Петербурга. В этот раз на экскурсию удалось просочиться и нам, бойцам Linkmeup.

Но просто так тратить целый день на созерцание серверных полей — занятие скучное, поэтому на этот раз поездка была более тематической. Четыре дата-центра, каждый был создан для решения определённых задач, нацелен на определённую аудиторию клиентов и наделён своими специфическими инженерными решениями.

Немного общих слов

Все ЦОДы в обзоре заявляются как Tier 3, но есть нюанс — в Питере нет ни одного сертифицированного Tier 3 ДЦ. Совсем нет. Как только просишь показать сертификат — все уходят в несознанку, что-то бормоча про дороговизну сертификации, пустые формальности, но полное соответствие требованиям. То есть они как-бы и готовы, но нет.

И последнее: площади, мощности и прочие увлекательные цифры, это очень важно и интересно, но их можно в любой момент посмотреть на сайте, так что в этой статье будут просто личные впечатления от каждого объекта, с определённой претензией на объективность.
Так что не всё то дата-центр, что назвали дата-центром и не всё то дата-центр, где написали Tier 3.

Linxdatacenter

ЦОД построен внутри здания технопарка Sky Trade, т.е. офисы есть справа, слева, снизу и вообще везде. Но linx отгородился от всех толстенными стенами. Кстати вход в технопарк по неведомой причине расположен ровно с противоположной стороны от въезда, т.е. как бы сзади здания.
Главное впечатление: дорого, богато и очень корпоративно. Он действительно большой, красивый, работает только с юрлицами и оценивает свои услуги в евро. Хотя кризис не щадит никого и цены были снижены, но всё равно остаются выше средних по рынку.

Ещё одна особенность — удалённость. Чисто технически это город, хоть и самая его окраина. Причём промзона, окружённая жилыми массивами, а это пробки каждое утро и вечер. Но крупных дата-центров, которые могут принять действительно большого клиента, в городе всего два. Это Linx и SDN, причём оба находятся на севере, только SDN расположился прямо на КАД. Одним словом, выбирать особенно не приходится.
Статус заведения здесь поддерживают с порога: вас встретят красивые девушки, именуемые тут коммерческими представителями, отведут в отличную переговорку, напоят вкусным кофе и покормят отличными печеньками. Пока мы были заняты едой, девушки организовали обзорную презентацию на тему где и сколько ЦОДов уже построено, какие между ними каналы связи, где есть точки для подключения и прочие маркетинговые штуки с завышенными цифрами. Сеть действительно большая, и точек присутствия очень много. Если у вас бизнес на несколько стран — вам сюда.
Не забыли список самых именитых клиентов. Список весьма солидный. Я думаю, что 90% компаний знакомы любому обывателю в том или ином виде.

Перед тем, как передать нас в мужественные руки своих коллег для дальнейшей экскурсии, нам вручили стандартный пакетик рекламных листовок и по милой маленькой флешке. И тут я призадумался: целесообразно ли в 2016 году в ЦОДе, который активно продвигает облачные услуги, тратить маркетинговый бюджет на флешки? Если бумажки хотя бы теоретически могут сыграть, то воспользуюсь ли я этой флешкой хоть раз, и, вообще, где она сейчас?
Но это всё лирика. А мы прощаемся с девушками и направляемся в глубину ЦОДа. Но тут случается неприятность — снимать внутри, даже общие планы, нам запретили. Настолько тщательно берегут тайны своих клиентов. А жаль, ибо внутри обнаружилось оборудование которое далеко не каждый инженер вблизи видел, даже если регулярно посещает профильные выставки.

Вообще, к тайнам своих клиентов тут относятся очень щепетильно! При необходимости есть возможность отгородиться не просто стандартными решётками с замком, а глухим забором в потолок, забором под фальшполом, биометрическими датчиками на входе, запретом на проход для всех, кроме своих инженеров, которые посажены здесь же в отдельном помещении и наблюдают за всем по изолированной сети видеонаблюдения. Не хватает только минных полей и пулемётных вышек. Но если серьёзно, такой подход внушает неподдельное уважение. Я думаю, что для финансового сектора и просто крупного энтерпрайза возможность такой круговой обороны может стать решающим фактором.
В кроссовой комнате ждал сюрприз: уборкой здесь занимается робот-пылесос. Решили, что швабра уборщицы несёт неоправданно высокий риск по сравнению с роботом от Karcher. Хотя сама кроссировочная выглядит уныло: непростительно мало операторов.

В КАЧЕСТВЕ ВЫВОДА:

Миран

ЦОД активно играет как на своём местоположении, так и на своей истории. К слову сказать, количество операторов связи тут в 4 раза больше, чем в Linxdatacenter, и даже чисто визуально помещение узла связи выглядит крайне солидно. Операторы такому положению дел рады, поэтому не стесняются ставить мощное железо уровня ядра и агрегации. В наличии даже магистральный узел, и заведено множество кабелей разными маршрутами, т.е. можно смело утверждать, что с самого начала Миран ориентировался на дружбу с операторами, и явно не прогадал. Для многих текущих клиентов именно возможность подключения к разнообразным оператором стала самым важным аргументом в выборе места размещения.

Угадайте, чей? Кстати, почему он стоит на колёсах — если его снять с рамы и поставить на землю, то необходимо будет провести дополнительные регистрационные и согласовательные работы, что никому не нужно. Поэтому как привезли, так в той позе и зафиксировали.

Но вернёмся к структуре этого ЦОД. Фактически это два разных дата-центра, находящихся в одном месте и в одних руках. Первый представляет из себя ЦОД классической судьбы и конструкции: берём здание, конструктивно усиливаем и перестраиваем в ЦОД с фреоновой системой охлаждения. Хотя на экскурсии было заявлено использование фрикулинга со всеми вытекающими.
Вторая-же часть намного интересней: создаётся она по прогрессивной модульной технологии. На месте это значит, что в огромном заводском ангаре ставят специально сконструированные контейнеры-модули, каждый из которых занимается своим делом. В одних находятся стойки, в других охлаждение и т.п. В данный момент полностью запущен только один модуль, активно монтируется второй, а всего их должно быть четыре. Вся разработка от и до заказная.

Модули представляют из себя специально сваренные двухэтажные контейнеры, похожие на стандартные морские. На первом этаже расположены стойки, блоки кондиционеров и система пожаротушения, на втором — энергоблок, ИБП и прочее. Всем управляет хитрая автоматика, которая, например, умеет подавать холодный воздух в конкретные точки нагрева, а не просто усиливая воздушный поток во всём модуле.
Ангар, в котором они находятся, естественно прошел специальную подготовку. Были проведены общеремонтные работы, под потолком были установлены мощные вытяжные вентиляторы и пассивные фильтры грубой очистки, которые регулярно меняются. Таким образом, воздух в помещение попадает относительно чистый и на входе в систему фрикулинга проходит только тонкую очистку. Утверждается, что такое модульное решение является уникальным для Санкт-Петербурга.

Кстати, экскурсию тут водят не эффективные продавцы, а вполне себе инженеры. Возможно поэтому Миран оставляет впечатление тёплого, лампового и какого-то домашнего заведения.
Также Миран известен тем, что однажды, после пятилетнего аптайма, лёг полностью, от слова совсем, на бесконечные 30 минут. Но, как известно, не бывает плохого пиара, и то, как руководство дата-центра повело себя в этой печальной ситуации, принесло им репутацию партнёров, готовых нести полную ответственность за свои косяки, а не пытающихся как-то от неё улизнуть.

Предугадывая вопрос: что точно случилось, я сказать не могу, т.к. свечку не держал, но в народе ходит история такого содержания:
Вводился в строй новый ИБП. Его уже подключили к вводам, всё проверили и готовились добавить в управляющий софт. Из-за наличия физического подключения к системе управления и отсутствия оного на логическом уровне, мониторинг периодически сыпал разными скучными алертами, и главный инженер, выдав ЦУ дежурной смене, отбыл домой с лёгким сердцем, полный идей завтра пустить ИБП в бой. Суть выданных ЦУ была такова: если прилетает определённый алерт, то надо идти туда-то, найти ИБП такой-то, зайти в определённое меню и нажать сброс ошибки. Ну а дальше, само-собой, случается человеческий фактор — инженер, пришедший сбрасывать ошибку, промахивается кнопкой и жмёт Load off, т.е. сбросить нагрузку. И всё бы ничего, т.к. в ИБП не подключена нагрузка и можно жать что угодно, но в дело вступил его величество случай. Когда ИБП подключен физически, но не подключен логически, в системе всплыла страшная, но простая как три копейки бага — Load off пришёл на все ИБП. В этот момент фактически инженер собственноручно выключил весь ЦОД.

Но дальше больше! Дрожащими руками он набирает главного инженера, описывает ситуацию, и тот принимает вроде бы правильное решение на основе имеющейся информации: напряжения нет, дизель не завёлся, значит, ИБП не отработали и надо руками отключать ввода и запускать дизель. Инженер бежит в ГРЩ, отрубает вводы и произносит главную фразу вечера: “Ой, а теперь и свет пропал”, на что получает резонный вопрос “А он что ли был? Ты же сказал нет совсем ничего!” и пачку слов вдогонку про умение описывать ситуацию. Несчастного инженера в предынфарктном состоянии отправили успокаиваться и только потом продолжили разбираться, что есть, чего нет и как всё включить обратно. Вот так сочетание фактора случайности и человеческой ошибки стоили получасового простоя.

В КАЧЕСТВЕ ВЫВОДА:

IMAQLIQ

Началось всё с компании General Datacomm, которая занимается разработкой сетевого оборудования. Особенно налегали на радиорелейки для сотовых операторов. Затем они купили оператора Кубио, который пытался выдавать себя за финского, что в Санкт-Петербурге особенно выгодно, т.к. вся связь в Европу идет через Финляндию.

Вот так компания занимающаяся созданием оборудования для телекомов, довольно неожиданно для всех вошла на рынок этих самых телекомов. И чтобы совсем всех удивить, они ещё и дата-центр решили построить, который поочередно был назван всеми именами.
Географически сборочные цеха General Datacomm находятся на территории завода турбинных лопаток. А что значит располагаться на территории бывшего советского завода? Правильно! Огромная территория и практически безлимитное электричество. Поэтому ЦОД построен под одной крышей со складом и сказать, что там стало меньше места, это просто нагло соврать. Раньше строить умели от души и в масштабах себя не сдерживали.

Но вернёмся к истории дата-центра. Сильного толчка в развитии он не получил, и, видимо, виной этому второстепенность данного бизнес направления для создателей материнской компании. Поэтому его развитие до недавнего времени происходило крайне нелинейно и урывками. Но сейчас, пройдя путь от просто большой серверной до законченного инженерного объекта, этот ЦОД явно начинает набирать обороты.
На местах это значит следующее: дата-центр сейчас стоит практически пустой, и идёт активная фаза поиска клиентов, а это значит более чем вменяемые цены и готовность идти на уступки, на которые в других местах никогда не согласятся. Все основные операторы уже зашли, поэтому со связью нет никаких проблем.

Приятно удивили отношением к резервированию электричества. У местных инженеров главный принцип: гарантированное питание, это то, которое мы выдаем с ИБП и дизеля, а всё остальное это резерв. На практике это означает наличие ГРЩ с весьма солидными шкафами и стеллажи аккумуляторов. Так же ребята сами предложили завести дизель, что бы показать выход на рабочий режим за 15 секунд. Пока шли к дизелю, рассказали как проверяют поставщиков топлива — просто звонят им в самый неудобный момент времени и спрашивают когда те смогут привезти нужный объём топлива. Если ответ не устраивает (а бывает так, что и просто никто не отвечает), то с этим поставщиком больше не работают.

В КАЧЕСТВЕ ВЫВОДА:

БончАйти

Но если есть спрос, то будет и предложение. Под этим девизом и был организован дата-центр БончАйти. Но напоминаю: это всё ещё центр города, это старые дома, это толпы туристов и прочие вещи, которые ну никак не соотносятся с таким понятием как ЦОД.
Итак, первое, на что обращаешь внимание, это размер. После посещённых объектов, он кажется просто крохой. Большой зал — 25 стоек, малый всего на 8. Но тут на сцену выпрыгивает главная идея организации этого ЦОД’а — быть максимально привлекательным для операторов и дать максимально близкий доступ до широких каналов связи генераторам тяжелого трафика. Для примера, сейчас в БончАйти стоят сервера главного городского новостного сайта fontanka.ru После публикации обсуждаемых новостей их исходящий трафик подскакивает до 4 Gb/s, и наличие операторов в непосредственной близости от серверов значительно упрощает и их жизнь, и жизнь самих операторов. Реализовано это с помощью мультипровайдера: на один маршрутизатор заведены несколько операторов связи и непосредственно генератор трафика. Суммарная ёмкость каналов получается 27 Gb/s.

Но как мы понимаем, таких генераторов трафика не особо много, поэтому машзалы огромных размеров им и не нужны. С другой стороны, операторам для организации пиринга и кроссировок также нет нужны держать гору активного оборудования, а патч панели электричества и холода не требуют. Хотя руководство заверило, что и обычные сервера принимают на постой с удовольствием, благо цены вполне демократичные. Но принимать больших корпоративных клиентов, которые привозят много тяжелого железа, которое кушает много электричества и выделяет много тепла, они не готовы.
Далее. Дата-центр находится на первом этаже обычного нежилого дома, а значит как-то надо извернуться с резервным питанием и решить проблему охлаждения.

С охлаждением всё более-менее понятно: прецизионные кондиционеры, скромный выносной модуль и фальшпол делают своё дело. Кстати и сам дом помогает — эта часть здания всегда в тени, так что окружающий воздух сам по себе всегда прохладный.
А вот с резервным питанием тут интересно вышло. Ясное дело, что никто в здравом уме, никогда не разрешит установку дизельного генератора во дворе дома, а значит надо как-то изворачиваться.
Выход был найден презабавнейший: неподалёку, на другой площадке, стоит готовый на всё генератор, который в случае аварии быстро привозят и подключают в цепь питания через соединитель на улице. Возникает резонный вопрос — а как же пробки? Это же центр города, тут же всё всегда стоит! Но ребята утверждают, что всё проверили боем, во время самых жутких пробок и готовы чуть ли не на руках его затаскивать. По факту, гарантированное время доставки 40 минут. Кажется, что не мало. Но ИБП рассчитан на поддержание работы в течение часа, и его мощности будут наращиваться по мере заполнения залов оборудованием. Очень интересное решение, как мне кажется.

В КАЧЕСТВЕ ВЫВОДА:

Послесловие

Что хочется сказать в конце