Посещение места, где Облака касаются Земли

Всем привет! Меня зовут Зандер Роуз, и я недавно начал работать в Automattic, чтобы работать над долгосрочным сохранением данных и развитием нашего сервиса. Ранее я руководил долгосрочными архивными проектами, такими как, , , , и консультировал / сотрудничал с такими организациями, как , , , , и . В более широком смысле я рассматриваю контент Интернета, и в частности открытую сеть, как незаменимый культурный ресурс, который должен сохраниться в далеком будущем, и моя главная задача — сделать так, чтобы это произошло. 

Недавно я посетил один из центров обработки данных Automattic, чтобы взглянуть на то, как на самом деле выглядит “облако”. Когда я рассказывал своей семье о том, чем я занимаюсь, было интересно отметить, что они воспринимают “облако” как нечто совершенно эфемерное. На самом деле, облако обладает огромным физическим и энергетическим потенциалом, даже если большинство людей не видят этого каждый день. 

Путешествие в облако

Учитывая миллионы сайтов, размещенных на Automattic, одним из первых элементов, которые я хотел понять, было выяснить, как все эти данные обрабатываются и хранятся в настоящее время. Я считаю, что сохранение как можно большего числа таких веб-сайтов когда-нибудь будет рассматриваться как огромное историческое и культурное благо. По этой причине я был благодарен за участие в недавней встрече для WordPress.com Команда инженеров Explorers провела экскурсию по одному из центров обработки данных Automattic. 

Экскурсия началась с ланча с тако, на котором мы познакомились с замечательными специалистами по автоматизации и владельцами центров обработки данных Барри и Юджином из нашей команды по системам и эксплуатации мирового класса. Эти ребята – настоящие ниндзя в области центров обработки данных, они обладают глубокими знаниями, скромны и, несомненно, являются именно теми, кого вы хотели бы видеть заботящимися о ваших данных.

Центр обработки данных, который мы посетили, был построен в 2013 году и стал первым, в котором Automattic владела серверами и оборудованием и управляла ими, а не арендовала их у фермеров. Благодаря созданию нашей собственной инфраструктуры мы получаем полный контроль над каждым поступающим и исходящим массивом данных, а также снижаем затраты, учитывая большой объем хранимых и обслуживаемых данных. В настоящее время Automattic располагает всемирной сетью из 27 центров обработки данных, которые обеспечивают как близость, так и избыточность контента для пользователей и самой компании. 

Физическое здание, которое мы посетили, находится в ведении поставщика услуг по контракту, и после прохождения многих уровней безопасности как внутри, так и снаружи, мы начали экскурсию с того, что менеджер объекта показал нам физическую инфраструктуру. В этом здании несколько клиентов платят за серверное пространство, и Automattic – лишь один из них. Они держат на месте технический персонал, который может помочь с обслуживанием или обновлением оборудования, но, как правило, предпочитают, чтобы к оборудованию прикасались только сотрудники Automattic, как по соображениям экономии, так и по соображениям безопасности.

Четыре основные вещи, которые должен гарантировать любой поставщик услуг для центров обработки данных, – это бесперебойное питание, охлаждение, подключение к данным и физическая безопасность/противопожарная защита. Заказчик, например Automattic, устанавливает серверные стойки в здании и несет ответственность за это оборудование, включая его подключение к источникам питания, охлаждению и Интернету. Таким образом, данный отчет составлен в таком порядке.

Сила

Во время нашего визита мы увидели большую электрическую подстанцию, расположенную прямо на территории кампуса (который включает в себя множество зданий центров обработки данных, а не только Automattic). Барри отметил, что это не только означает, что кампусу доступно огромное количество электроэнергии, но и что он также получает электроэнергию как от восточной, так и от западной энергосистем, что обеспечивает избыточное питание даже на уровне коммунальных служб, поступающих в здания.

Одной из самых уникальных особенностей этого устройства является то, что вместо мгновенного резервного питания от аккумулятора оно использует маховичный накопитель. По сути, это серия коробок размером с холодильник с 600-килограммовыми маховиками, вращающимися со скоростью 10 000 оборотов в минуту в вакуумной камере на прецизионных керамических подшипниках. Маховик большую часть времени работает как двигатель, получая питание от сети для поддержания своего вращения. Затем, при отключении питания, он переключается в режим генератора, забирая энергию из маховика, чтобы поддерживать питание в течение 5-30 секунд, необходимых для запуска гигантских дизельных генераторов снаружи.

Эти генераторы размером с полуприцепы-самосвалы и вырабатывают четыре мегаватта энергии каждый, заправляясь дизельным топливом из баков емкостью 4500 галлонов. Это может показаться многовато, но, по сути, это дает им 48 часов работы, прежде чем потребуется больше топлива. В разгар крупной катастрофы могут возникнуть проблемы с доступом к дорогам и нехватка топлива, что ограничит возможность заправки генераторов, но в подобных случаях наша сеть из нескольких центров обработки данных с резервными возможностями по-прежнему будет поддерживать поток данных.

Охлаждение

В зависимости от температуры окружающей среды, на охлаждение обычно приходится около 30% энергопотребления центра обработки данных. Охлаждение воздуха осуществляется с помощью ряда холодильных установок, снабжаемых системой резервуаров с соленой водой, установленных на генераторах. 

Барри и Юджин отметили, что без охлаждения оборудование очень быстро (менее чем за час) попытается снизить энергопотребление в ответ на нагрев, что приведет к снижению производительности. Барри также сказал, что когда они начинают резко снижать производительность, управлять ими становится сложнее, чем если бы оборудование просто отключалось. Но если охлаждение восстановится достаточно быстро, это позволит ускорить восстановление, чем если бы оборудование было полностью отключено. 

Управление системой охлаждения в центре обработки данных – сложная задача, но это одна из основных обязанностей предприятия, с которой оно справляется очень хорошо и с достаточной степенью резервирования.

Подключение к сети передачи данных

Центры обработки данных могут различаться по способу подключения к Интернету. Этот центр позволяет нескольким провайдерам подключаться к основной точке входа в здание.

Automattic привлекает как минимум двух провайдеров для создания резерва, поэтому каждое оборудование должно иметь возможность постоянно получать питание и доступ в Интернет от двух или более источников. Это подключение к оборудованию Automattic осуществляется по оптоволокну через подвесные каналы, которые расположены отдельно от источников питания и охлаждения в полу. Оттуда оно поступает в два маршрутизатора, каждый из которых подключен ко всем шкафам в этом ряду.

Серверная зона

Как упоминалось ранее, этот центр обработки данных используется несколькими арендаторами совместно. Это означает, что каждый из них устанавливает свою собственную последнюю линию физической безопасности. Некоторые арендуют для себя целый цех обработки данных или используют клетку вокруг своего оборудования; некоторые идут еще дальше, закрывая оборудование так, что его не видно, а также удлиняя клетку еще на три фута, чтобы никто не мог проникнуть внутрь, проползая через это пространство.

Компьютеры Automattic занимали центральную часть зала обработки данных, в котором мы находились, и было куда расти. Мы начали эту часть экскурсии в “офисе”, который Automattic арендует как для хранения запасных частей и оборудования, так и для обеспечения тихого места для работы. Во время этой экскурсии стало очевидно, что работа в серверных помещениях далека от идеала. Из-за наличия вентиляторов и систем охлаждения в помещениях шумно и холодно, поэтому, как правило, хочется выполнять как можно больше работы вне помещения.

Что еще интересного в этом помещении, так это то, что в нем представлены все поколения оборудования и жестких дисков, которые необходимо обслуживать одновременно. Нецелесообразно предполагать, что данное поколение жестких дисков или даже соединительных кабелей будет доступно в течение более чем нескольких лет. В целом, планируется, что все аппаратные средства будут использовать идентичную память, диски и кабели, но это не всегда возможно. Как мы видели на серверных стойках, там все еще используется оборудование 2013 года выпуска, но в ближайшем будущем его, вероятно, придется полностью заменить.

Барри также отметил, что для разных типов данных используются разные технологии хранения. Изображения хранятся на вращающихся жестких дисках (которые являются самыми дешевыми по размеру, но имеют подвижные части, поэтому требуют дополнительной замены), а более долговечные твердотельные диски (SSD) и энергонезависимая память (NVMe) используются для других целей, таких как кэширование и базы данных, где скорость и производительность наиболее важны. важный.

Барри объяснил, что данные в Automattic хранятся в нескольких местах в одном и том же центре обработки данных и в избыточном количестве в нескольких других центрах обработки данных. Даже при такой избыточности дополнительная копия сохраняется во внешней резервной копии. Каждый из центров, используемых Automattic, имеет свой метод разделения, поэтому одной ошибке сложно распространиться между различными учреждениями. За последнее десятилетие был только один случай, когда потребовалось внешнее резервное копирование, и это было для шести изображений. Тем не менее, Барри отметил, что резервных копий никогда не бывает слишком много.

Инфраструктура для будущего 

На этом мы завершили тур, и вскоре я отправился в аэропорт, чтобы улететь домой. Последний вопрос, который задал мне Барри, был о том, думаю ли я, что все это будет продолжаться и через 100 лет.