От имени команды Operations, включив на всю катушку специальную музыку для сочинения статей (Skálmöld), с гордостью представляю вам большой проект под названием «Транквилити Tech III», который по нашим планам будет завершен в самом начале 2016 года.

Проект называется TQ Tech III (TQ от полного названия «Транквилити», главный сервер EVE Online) из-за того, что инфраструктура Евы физически меняется в третий раз. ССР делает значительные инвестиции в совершенно новое оборудование (сетевое оборудование, система хранения и серверы), а также переносит его на новый хостинг в Лондоне.

В прошлом мы уже делали похожие подвиги Геракла. Вот пара ссылок, чтобы освежить память:

• 2010 - «Транквилити» на новом уровне (англ.)
• 2011 - Улучшение базы данных «Транквилити» (англ.)

Согласно парадигме «Ева навсегда», настало время опять обновить «Транквилити», и вооружиться новыми методами и технологиями последних лет, направив их на обеспечение и поддержание сложнейшего игрового мира и услуг доступа к нему.

У TQ Tech III есть множество аспектов, которые я буду пояснять при помощи своих коллег-разработчиков.

Внимание: сейчас будет много супер-пупер технологий!

Дополнительная избыточность

Система хранения данных «Транквилити» дублируется и избыточна. Массив хранилищ всегда был избыточным, но сейчас мы увеличили количество элементов устойчивости к сбоям.

У нас будет полное зеркало сети хранения данных (SAN mirror) для одновременного поддержания «Транквилити» и резервной копии в рабочем состоянии, а также для точного воспроизведения базы данных «Транквилити» на другом берегу океана в Исландии, стране льда и пламени.

Вот как будет выглядеть «Транквилити» со стороны хранилища данных после окончания работ:

Вы можете увидеть два контроллера SAN фирмы IBM, определяющих работу двух контроллеров V5000 той же фирмы; они, в свою очередь, сохраняют все данные на трёх стойках расширения, содержащих 9 твердотельных накопителей по 800 Гб, что в сумме дает 83 диска 1.2Tб 10K SAS. Не забудьте, что всё это дублируется, так что для полной картины удвойте цифры!

Всё это работает очень быстро, а новое хранилище должно обращаться к серверам…

Новые серверы

С первого дня «Ева» работала на блейд-серверах IBM. Для обновления мы выбрали новое поколение серверов IBM под названием IBM FLEX. На картинке выше вы можете видеть связь одного шасси FLEX с системой хранения.

Концепция FLEX похожа на блейды в том, что шасси предоставляет питание и охлаждение и может нести до 14 узлов (нод) на каждом шасси.

Для сравнения, сегодня блейды «Транквилити» работают с четырьмя гигабитными соединениями, причем каждый из 14 узлов обладает доступом к двум гигабитным соединениям, поскольку у них по две сетевые карты.

Новое шасси IBM Flex получит четыре десятигигабитных соединения, дав каждому узлу пропускную способность в 2х10 Гбит.

На сегодняшний день это слишком много для «Евы», но после установки оборудования наши инженеры смогут экспериментировать с новыми интересными способами масштабирования производительности «Транквилити» и архитектуры в целом. Это, конечно, потребует времени, но мгновенный эффект состоит в очень быстром выпуске обновлений!

Кроме того, в результате серьёзно улучшится наше виртуальное серверное окружение, например при переносе в реальном времени виртуальных машин на другой физических хост.

Ах да, у нас будет 6 таких шасси. :D

Правда, красиво?

Вы можете заметить обилие избыточных компонентов. Так и задумано: для обслуживания «Транквилити» мы можем отключить одно шасси полностью, а игроки продолжат воевать, писать в чатах, производить, исследовать и обманывать на оставшихся пяти стойках.

Серверы соединяются с системой хранения через шестнадцатигигабитные свитчи IBM SAN 2498-F48. Всё скоммутировано так, чтобы избежать существования потенциально сбойных точек, зависящих от единственного узла системы.

Mahālangūr Himāl

Сейчас у нас есть один компонент кластера «Транквилити», который мы называем «Эверест». Он используется в ситуациях, когда необходимо справиться с очень высокой нагрузкой - обычно это происходит во время самых крупных в ММО сражений.

У «Транквилити Т3» будет шесть узлов типа «Эверест».

Это позволит одновременно взрывать очень много кораблей. А ещё в случае необходимости некоторые альянсы могут одновременно забыть оплатить важные счета!

Обаятельная база данных «Транквилити»

Давайте поближе взглянем на кластер. Начнем с оборудования для работы с базой данных «Транквилити».

У каждой из четырех машин Microsoft SQL Database будет внушительные 768 Гб оперативной памяти, работающей на частоте 1866 МГц. У них будет по 2 процессора Intel E7-8893 v3 — процессор с частотой 3.2 ГГц и 4 ядрами (8 с гипертредингом) и кешем в 45 Мб, что делает их идеальным решением для интенсивной работы с базой данных.

Вот более подробный рассказ о базе данных от её администраторов.

Кластеры БД

Сейчас у нас три главных кластера базы данных:

• «Транквилити» (2-хпроцессорный с 32 ядрами в гипертрединге)
• Веб-сервер (2-хпроцессорный с 24 ядрами в гипертрединге)
• Сервер управления учетными записями и платежами (2-хпроцессорный с 24 ядрами в гипертрединге)

Все три работают на совершенно разных типах оборудования из разных поколений архитектуры, соединенных между собой надёжной матарской изолентой, благочестивыми амаррскими молитвами, наивным и радостным духом галлентов и низкокачественной проволокой, массово выпускавшейся в Государстве Калдари. На новом кластере «Транквилити» мы собираемся всё оптимизировать и освободить немного места, поэтому объединим веб-сервер и сервер управления учетными записями и платежами. «Транквилити» останется отделённым от остальных.

Мы заменим процессоры X7560 по 2.26 ГГц пятилетней давности на новые блестящие E7-8893 v3 по 3.2 ГГц. Одна только тактовая частота увеличится на 45%, а скорость работы с памятью вырастет аж на 75%, с 1066 до 1866!! Не подумайте плохо - нам понадобится вся эта дополнительная мощность, поскольку объём памяти вырастет с 672 Гб до 1,5 Тб. Ага, всё верно - полтора ТЕРАбайта оперативки! Вот так и живём — меряем память «Транквилити» терабайтами!

Помните, что это цифры только для активных узлов. Если учесть вторичные и пассивные узлы, то общий объём памяти кластера «Транквилити» следует удвоить. 3 Тб оперативной памяти для 2х рабочих кластеров - ммммм, прекрасно!

Мы рассматривали возможность использования единого активно-активного кластера из двух узлов, но решили отказаться от этого по разным причинам. К примеру, если один из cluster.exe перестанет работать, то вся контора может накрыться. А изолированный кластер «Транквилити» позволит быть спокойными за всю систему.

Итак, у нас есть 4 невероятно мощных компьютера для БД, содержащих два наших кластера. Это привело нас к очень интересной идее, позволяющей увеличить отказоустойчивость.

Виртуализируй всё!

Перед тем, как читать дальше, помните: это лишь рабочая идея, которую ещё надо испытать. Вполне возможно, что мы выкинем её и вернёмся к старым добрым кластерам (которые по-прежнему будут крутиться на суперпуперкрутом оборудовании из райских кущ)

Мы хотим создать ферму из 4х кластеров ESXi с 4 монструозными узлами. Поверх гипервизора мы создадим оба наших кластера SQL-серверов, назначив каждый узел кластера одному серверу ESXi - как будто они существуют физически. Фактически ничего не изменится, но…

Настоящая польза этого проявится когда (или «если», но скорее всего «когда») один из физических серверов потребуется отключить по какой-либо причине или провести плановое обслуживание. В этом случае, обычный физический кластер из двух узлов будет работать лишь на одном узле, а нам придётся скрестить пальцы в надежде, что с узлом-который-сейчас-совсем-один ничего не произойдёт. Нам понадобится множество благочестивых амаррских молитв.

В случае с виртуальным решением, мы можем просто посредством vMotion перенести пассивный узел кластера с его персонального хоста ESXi на другой хост ESXi (тот самый, который содержит пассивный узел второго кластера)... и мы в дамках! Конечно, тот хост с двумя пассивными узлами будет перегружен, но проблемы возникнут не раньше, чем мы потеряем ещё два хоста!

Как следствие, мы не только получим дополнительную защиту БД при помощи Windows Failover Clustering, но и сможем пережить отказ нескольких аппаратных узлов! Нам надо провести много проверок, но в целом технология уже известна, так что в самом деле, что может пойти не так?

Всегда ваша

CCP DeNormalized, CCP Hunter, CCP Stephanie и CCP Jolin

Назад к кластеру!

Технические подробности «Транквилити» сегодня и «Транквилити Т3»

Обновление сети

До сих пор мы говорили о быстрых серверах и обилии быстродействующих хранилищ. Но что-то должно всё это соединить в одно целое, а также соединить с тем местом, где обычно хранятся смешные картинки с котиками (т.е. с интернетом). В противном случае, EVE Online будет совсем… не онлайн.

Передаю слово нашей сетевой команде

Наши надежные роутеры Cisco 7606 с 2009 года верой и правдой служили сетевым потребностям. Мы связаны с более, чем 20 провайдерами и получаем полные таблицы протокола граничного шлюза от пяти из них, что в сумме составляет более двух миллионов значений атрибутов пути, которые компилируются в полмиллиона глобальных таблиц наилучшего пути для протокола граничного шлюза на каждом граничном роутере. Эти почтенные динозаврым мира роутеров работали с ними без перерыва на обед.

Тем не менее, технология не просто шагнула, а прыгнула вперёд за последние шесть лет. Настало время отправить старые роутеры на заслуженный отдых и заменить их на роутеры нового поколения. Ради славных пилотов Нового Эдема мы вновь используем лучшее из лучшего оборудования. Ничего иного «Транквилити» не заслуживает!

Новые аппараты с пропускной способностью в 120 Гбит/с и удвоенным объёмом памяти на порядок мощнее, что позволяет повысить число связанных с нами провайдеров. Благодаря дополнительной оперативной памяти они хранят заранее рассчитанные резервные копии маршрутов BGP для каждого активного маршрута, что позволяет переключить неверный путь на запасной в течение считанных миллисекунд. Это значит, что если что-то случится с провайдером, непосредственно соединенным с нами, большинство игроков, чей маршрут в сети проходит через этого провайдера, переключат на другого провайдера без потери соединения. Новые роутеры позволят нам улучшить качество соединения и благодаря увеличенной памяти и вычислительной мощности откроют перед нами россыпь новых возможностей.

Другой фундаментальной частью сегодняшней сетевой инфраструктуры «Транквилити» являются балансировщики нагрузки Cisco ACE 30. Эти коробки очень сложно конфигурировать, но они занимают особое место в наших сердцах, любящих высокие технологии. Они позволяют нам быстро вносить на «Транквилити» серьёзные изменения и надёжны как скала.

Однако несколько лет назад компания Cisco ушла с рынка сетевых балансировщиков и оставила платформу ACE умирать медленной смертью. С тех пор мы испытывали разные платформы и, наконец, нашли отличную замену, которая не только обеспечит прирост производительности, но и даст новые возможностти.

Только с точки зрения производительности, на новом «Транквилити» мы увеличим пропускную способность с 16 Гбит/с до 30 Гбит/с, а максимальное число одновременных подключений увеличим с четырёх миллионов до двадцати четырёх миллионов. Новые сетевые балансировщики не оставили равнодушными не только команду Operations, но и весь отдел разработки Евы. Мы потираем руки прямо как капсулёр, в первый раз севший на «титан».

Сетевые соединения

Мы не только обновляем оборудование, но и ищем новые возможности улучшения сетевого соединения с точки зрения опыта игроков. Одной из связанных с этим инициатив стало развертывание новой интеллектуальной платформы роутинга для оптимизации маршрутов BGP. Эта система автоматически проверяет как задержку, так и число потерянных пакетов для каждого игрока, соединенного с «Транквилити», путём одновременного тестирования маршрутов от каждого присоединенного к нам провайдера до провайдера игрока. Она прозрачно для пользователя переключает соединения на наилучший доступный путь. Активные соединения проверяются регулярно в течение нескольких часов. Эта система уже доказала, что может без задержек обходить множество препятствий и отключений сетевых узлов на вечно волнующихся просторах интернета. Превосходный инструмент отчётов позволит нам создать список провайдеров, обеспечивающих игрокам наилучший доступ к EVE Online.

Как видно из результатов испытаний на рисунках выше, интеллектуальная платформа роутинга позволила улучшить качество соединения с более чем 7000 сетей провайдеров по всему миру, снизив потери пакетов при соединении с «Транквилити» на 91% там, где эти потери наблюдались, а также в 59% случаев обходя отключенные участки в интернете. Задержка также значительно снизилась, сократившись на 20% у более чем половины из всех медленных соединений. Вот такие результаты мы всегда рады видеть!

В заключение, мы продолжим расширять наше сотрудничество с LINX (London Network Exchange), что позволит нам напрямую соединяться с большим числом интернет-провайдеров. Таким образом, игроки, использующие услуги этих провайдеров, смогут напрямую соединяться с «Транквилити», не проходя при этом через лишние общие сети в интернете, что снизит число прыжков и обеспечит значительно более стабильное соединение.

Мы бы хотели поведать вам множество головокружительных подробностей о наших новых игрушках (поверьте, мы можем говорить о них бесконечно!), но специалисты из отдела безопасности говорят, что они должны храниться в тайне. Но! Но! Но! Если вы на следующем «Фанфесте» посетите круглый стол со специалистами команды Operations, мы обещаем чуть-чуть приоткрыть завесу тайны и немного рассказать о новом чудесном мире улучшенных сетевых соединений в интернете.

- CCP Lucca and CCP Skylark

Новый дом

Вначале «Транквилити» располагался в центре «Cable and Wireless» в Лондоне, а затем переехал на другую сторону улицы в центр «Telecity» в феврале 2006 года. И вот, спустя почти 10 лет, мы переезжаем в новый датацентр (открытый в 2014 году), построенный по последнему слову техники.

Мы рассчитываем полностью создать и запустить «Транквилити Т3» в самом начале 2016 года.

Затем мы перенесём то, что вскоре будет известно под именем «Старый Транквилити» домой, в Исландию, в датацентр «Verne Global» (который снабжается электричеством от таинственной геотермальной вулканической энергии). На этом сервере, собранном из частей старого «Транквилити» и небольших дополнений, мы планируем расположить все наши тест-серверы: «Сингьюлэрити», «Мултиплисити» и т.д.

После этого мы начнем дублировать новую БД «Транквилити» из Лондона в Исландию, чтобы у нас был дополнительный источник в случае внезапного начала Рагнарёка в центре Англии.

В начале ноября выйдет ещё одна статья с изображениями нашего оборудования, устанавливаемого в Рейкьявике, а также отчет о проделанной работе.

Отдел технического обслуживания взволнован и горд проектом «Транквилити Т3» и его значением для EVE Online и игроков.

Но хватит писать. Пора вернуться к работе.

CCP Gunshow, от имени команды CCP Ops