Ранним воскресным утром я обнаружил, что сервер мёртв. SSH отвалился, сайты не открываются, сервер не пингуется.
Спросонок успел передумать всё самое страшное: хакнули, заддосили, сдох винт.
Каждый из вариантов был по-своему хорош; внутренний параноик™ очень обрадовался.
Потом, правда, успокоился: оказалось, что всего лишь сгорел дата-центр.
Как выяснилось чуть позже, не сгорел, а взорвался; не дата-центр целиком, а какое-то оборудование.
Никто не пострадал, даже серверы не сгорели.
Недоступными оказались 9000 серверов, арендуемых 7500 клиентами; в том числе ушёл в оффлайн сайт соседей из Днепропетровска audiko.net.
Наш сервер был недоступен в течение 36 часов; потом сервер включился, но из-за network issues ему было очень плохо.
Сейчас уже работает всё, кроме почты (заказы, комментарии и прочее). Чиним.
