RTFM-ошибка гиперскейл-уровня: инженер Google Cloud уронил часть облака, разом отключив все оптические кабели

Google Cloud раскрыла довольно курьёзную причину частичного сбоя в регионе us-central1-b, который произошёл 1 сентября с 07:41 до 11:52 по тихоокеанскому времени (PT). Часть облака физически отключил от Сети инженер, обслуживавший оборудование, сообщает The Register. Это привело к «серьёзному ухудшению работы сети и изоляции ресурсов». По данным Google, в разгар инцидента объём проходящего трафика в пострадавшей области облака «сократился на 100 %», из-за чего ряд инстансов оказался попросту недоступен пользователям, а потери пакетов ожидаемо выросли. Компания пояснила, что при проектировании облачных ЦОД занимается резервированием маршрутизаторов, но против человеческой «смекалки» ей противопоставить нечего. Система рассчитана на двойные и даже тройные отказы использует раздельное питание оборудования и несколько ВОЛС. Тем не менее, как оказалось, все эти меры защиты можно обойти, просто выдернув кабели из гнёзд.