В темноте, да не в обиде

Схема Московского Internet Exchange (MSK-IX), крупнейшей в России системы обмена интернет-трафиком.

25 мая авария на московской электроподстанции «Чагино» инициировала самый большой в истории России энергокризис. Причиной аварии, по мнению энергетиков, стало сочетание нескольких факторов, главные из которых – износ оборудования (срок эксплуатации подстанции «Чагино», например, истек еще в 1997 году) и 30-градусная температура (такого жаркого мая в Москве не было с 1891 года). Остановка подстанции привела к сбоям в работе московского энергокольца и во всей объединенной с ним энергосистеме европейской части России. Обесточенной оказалась значительная часть Москвы, а также 34 района Подмосковья и территория Тульской, Калужской и Рязанской областей.

Все началось в 11.10 по московскому времени, когда в юго-восточных и южных районах столицы начал плавно пропадать свет. Сначала отключились электроплиты, потом необычайно медленно потухли лампы освещения. Одновременно встали поезда сразу на шести линиях метрополитена. Запертыми в туннелях оказались около 20 тыс. человек. Прекратилось движение на Курском, Павелецком, Киевском, Белорусском направлениях Московской железной дороги и большинстве участков Большой московской окружной дороги. Тем, кто в этот день предпочел добираться до своей цели на машине, тоже досталось: неработающие светофоры привели к легкому хаосу на дорогах и множеству мелких аварий, а вставшие трамваи и троллейбусы закупорили улицы и создали на них многокилометровые пробки. Из-за отсутствия электроэнергии не работали насосные подстанции, и весь юг Москвы остался и без воды – как горячей, так и холодной. Подъезды, оснащенные кодовыми замками и домофонами, без электричества оказались намертво заблокированными. Около 1,5 тыс. человек застряли в отключившихся лифтах. Была парализована работа бирж, банков, офисов и учреждений.

Между тем многие жители северной части города долгое время даже не подозревали о случившемся. В их домах горел свет, по улицам бодро бежали троллейбусы, банкоматы исправно отсчитывали купюры. Практически единственное, что могло их насторожить, – перебои с работой интернета. Многие популярные сайты как по команде оказались недоступны. Электронные письма отправлялись с трудом, да и то через раз. Интернет, ставший для многих уже привычным и зачастую основным рабочим инструментом, начал заметно барахлить. Некоторые СМИ в своих статьях особо отметили: даже правительство Москвы, чье здание оказалось за чертой обесточенной территории, не могло полноценно функционировать, оставшись без интернета.

Чтобы убедиться, насколько большую роль в жизни мегаполиса играет интернет и насколько сильно ударило его отсутствие по жителям города, достаточно взглянуть на результаты опроса, проведенного порталом Rambler вскоре после аварии. Каждый третий участник опроса ответил, что чувствовал бы себя как без рук, если бы проблемы с интернетом затянулись. Общее число тех, у кого внезапное отсутствие интернета практически не вызвало дискомфорта или не вызвало его вообще, составило всего 18% всех опрошенных. 41% респондентов, оставшись без интернета, остро ощутили отсутствие свежих новостей, а еще 30% не смогли найти нужную им информацию. Всего в опросе приняли участие более 17 тыс. человек.

Среди прочих респондентам предлагалось ответить и на такой вопрос: «Как отразилась авария в Москве 25 мая на вашем присутствии в сети?» 35% опрошенных ответили, что «интернет был, но многие ресурсы стали недоступны», а еще 30% – что «компьютеры работали, но интернета не было». И хотя в этот день целый ряд сайтов испытывал проблемы, такая массовость этих ответов вызвана другой причиной – временным отключением питания одной из технологических площадок Московского Internet Exchange (MSK-IX), крупнейшей в России системы обмена интернет-трафиком.

MSK-IX существует с 1995 г., когда основу инфраструктуры российского интернета составляли не оптико-волоконные сети, а телефонные линии. При этом большая часть трафика поступала в российскую сеть из-за границы. Поэтому первой точкой обмена трафиком была выбрана Московская междугородная телефонная станция № 9 (ММТС-9, или просто М9), на которую приходили все международные и междугородные каналы связи. Все интернет-провайдеры имели на М9 точки присутствия.

За прошедшие с момента возникновения MSK-IX пять лет эта система активно развивалась. На 1 июня 2005 г. участниками MSK-IX являются уже 157 интернет-провайдеров, причем к системе обмена трафиком подключены, помимо московских компаний, провайдеры Санкт-Петербурга, Иркутска и ряда других крупных городов России, а также Казахстана и Украины. К 2002 г. структура MSK-IX была модернизирована и теперь включает в себя 10 площадок, объединенных магистралью по технологии Gigabit Ethernet. Таким образом, MSK-IX представляет собой физически распределенную сеть, при этом часть площадок объединена в замкнутую кольцевую структуру. Подключившись на любой из площадок, провайдер получает полный доступ к системе обмена трафиком. Однако в силу исторических причин большая часть провайдеров имеет узлы доступа именно на ММТС-9. На этой площадке выполнено большинство подключений к MSK-IX, поэтому через М9 обычно проходит до 80% всего трафика в российском интернете. Физически это «сердце российского интернета» находится на юге Москвы, в районе станции метро «Калужская», – иными словами, оно оказалось в зоне веерного отключения электроэнергии. И 25 мая в 11.45 подача питания на ММТС-9 была прекращена. Одновременно с этим от сети MSK-IX отключилась и вторая площадка, расположенная в Институте космических исследований РАН.

«События развивались для нас примерно так: UPS – источники бесперебойного питания – с ММТС-9 дружно сообщили, что перешли на батареи, – рассказывает Андрей Кондаков, директор по развитию компании «Зенон Н.С.П.». – Потом забили тревогу датчики контроля температуры нашего узла на той же ММТС-9. Вскоре начали пропадать внешние линки на этой площадке, а потом наши UPS стали присылать последние сообщения...»

Елена Воронина, директор MSK-IX, рассматривает аварийную ситуацию с энергоснабжением на MMTC-9 как форс-мажор.

«Работы на сети во время аварии службы MSK-IX выполнили в соответствии с ситуацией, – говорит она. – С учетом обстоятельств работы были организованы правильно. Более того, мы воспользовались вынужденным перерывом в работе узла и произвели плановую замену оборудования».

В то же время, по словам Елены Ворониной, вся остальная сеть обмена трафиком работала в этот день без перебоев. «Пропадание питания на ММТС-9 и обесточивание одного из узлов MSK-IX, расположенного там, вовсе не означает прекращения работы всей сети», – подтверждает Алексей Мисюренко, технический директор телекоммуникационной компании «Караван». Однако с точки зрения рядового пользователя интернета ситуация выглядела довольно тяжелой. «Для большинства мелких операторов ММТС-9 – это единственный центральный узел, – говорит Мисюренко. – Факт, что многие операторы поддерживают два соединения с MSK-IX, основное и резервное, но в большинстве случаев это лишь виртуальное резервирование. Очень немногие могут позволить себе содержать свои собственные распределенные сети и резервироваться территориально независимо, в противном случае мало кто заметил бы эту аварию».

Однако Андрей Кондаков считает, что сама ММТС-9 тоже должна сделать выводы и создать существенный резерв для автономной работы. «Мы даже не предполагали, что питание на этой крупнейшей станции может пропасть больше чем на 30 минут по всем вводам сразу и нам не поможет двойное резервирование по оборудованию и электропитанию», – говорит он. Впрочем, необходимо отметить, что отключение электричества произошло в условиях 30-градусной жары. Электропитания лишились и климатические установки в аппаратных помещениях на ММТС-9. В результате температура стала быстро подниматься и был риск реально «изжарить» дорогостоящее сетевое оборудование, которое еще продолжало работать. Таким образом, погода практически удвоила требования к запасам мощности автономных систем энергоснабжения, ведь надо было не только питать аппаратуру, но и охлаждать ее, поддерживая температурный режим.

Когда в работе М9 появились перебои, основная часть трафика пошла через зарубежные каналы, совокупная емкость которых меньше, чем у российских. Кроме того, часть зарубежных каналов также была подключена к М9. В результате зарубежные каналы стали не справляться с нагрузкой и началась потеря пересылаемых пакетов данных. Проще говоря, все стало очень сильно тормозить. Многие провайдеры, чьи дата-центры расположены вне зоны аварии, смогли поддерживать нормальную работу своих собственных сайтов, но помочь пользователям попасть на их любимые ресурсы было для них затруднительно. «Другие наши площадки включая основную (ДатаЦентр с серверами) обеспечены длительным автономным питанием, и все время аварии они работали, – говорит Андрей Кондаков. – Однако интернет – это совокупность большого числа сетей, и толку от наших живых серверов для интернета было немного». Кроме того, те провайдеры, которые сами подключались к интернету через М9, не смогли обеспечить доступ в сеть всем клиентам, и посетителей начало автоматически отрубать от интернета.

Многие специалисты сходятся во мнении, что для предотвращения подобных ситуаций провайдерам следует поменять свою схему подключения и резервировать свои узлы связи на разных площадках. «Надо включаться не одной «ногой», а двумя, – сказал один из руководителей российского филиала телекоммуникационной компании TeliaSonera. – Тогда, если одна «нога» перестанет работать, всегда можно опереться на другую. Хранить все яйца в одной корзине – непредусмотрительно». Алексей Мисюренко тоже считает, что MSK-IX стоит изменить технические условия присоединения операторов, обязав их делать два физических стыка на разных узлах. Эту же мысль высказала и Елена Воронина: «С точки зрения стабильности работы интернета желательно размещать узлы провайдеров на разных площадках и устанавливать связи между сетями также на разных площадках. Все возможности для этого имеются. Инфрастуктура построена, и в интересах провайдеров использовать ее наиболее эффективно для повышения надежности работы сетей. Мы планируем более активно продвигать среди участников MSK-IX программу по резервированию подключений провайдеров».

Впрочем, есть и другие мнения на этот счет. «Нужно отказываться от обмена трафиком через сети-посредники и переходить к прямым стыкам между разными интернет-сетями («пирам»), причем делать это нужно в нескольких точках взаимодействующих сетей, – говорит Андрей Кондаков. – Площадки, предназначенные для обмена трафиком (если они на это претендуют), должны быть обеспечены бесперебойным питанием лучше, чем площадки самих сетей. К сожалению, у нас получилось с точностью до наоборот. Кроме того, таких площадок обмена должно быть несколько». Теперь «Зенон» собирается модернизировать схему присоединения к зарубежным сетям и увеличить число частных «пиров» с другими крупными интернет-сетями и ресурсами, со стыками в разных узлах собственной сети «Зенона». Кроме того, компания планирует существенно увеличить мощность резерва независимого питания всех своих площадок.

Другая крупная телекоммуникационная компания, «Караван», не планирует столь заметных изменений своей стратегии развития. «Мы и до этого строили нашу сеть именно исходя из ее максимально возможного резервирования, – говорит Алексей Мисюренко. – Думаю, что нам теперь будет легче вести переговоры с коллегами о резервированном присоединении, ведь защита от сбоев включает в себя не только выживаемость собственной сети, но также соседей, иначе никто не сможет получить услугу в полном объеме». В целом же, по мнению Алексея Мисюренко, кризис должен очень положительно сказаться на всей отрасли. «Операторы начнут вкладывать деньги в надежность своих сетей, а те, кто этого не сделает, будут проигрывать. Есть надежда на перелом в сознании потребителей, и они начнут выбирать поставщика услуг не только по ценовому критерию, но и по его надежности».