Telegram-канал zatelecom - ЗаТелеком 🌐: Блоги

ЗаТелеком 🌐

19 июля 2024 18:15

Сегодня многие компании по всему миру пострадали из-за сбоя
Причина на этот раз не в хакерской атаке, а в том, что компания CrowdStrike выпустила неудачный апдейт для своего софта CrowdStrike Falcon.

CrowdStrike Falcon это штука типа антивируса (а точнее это называется EDR-система), его крупные компании покупают и ставят на компы сотрудников и на виндовые сервера.
Она предназначена для того, чтобы мониторить активность на компе, и если заметит что-то похожее на вирусы или на активность хакеров, то алертить безопасников в компании.

CrowdStrike выпустили апдейт, компьютеры скачали и установили его, и массово "упали" в BSOD — синий экран смерти. И перестали загружаться, что самое плохое: нельзя просто перезагрузить, нужно каждый комп чинить вручную.

Компьютеры обычных пользователей не пострадали, потому что это софт именно для компаний, пострадали только клиенты CrowdStrike. Но это крупнейшие компании, работа которых встала, отменились тысячи авиарейсов, в некоторых странах экстренные службы не принимают вызовы

Как это будут чинить
Обычно в крупных компаниях админы могут чинить проблемы централизованно: у них есть удаленный доступ на компьютеры и сервера, и через него они накатывают исправления. Но сейчас проблема в том, что компы не включаются, поэтому удаленный доступ тоже не работает.
Поэтому в базовом варианте нужно прийти к компу, загрузить его в safe mode и выполнить некоторые команды.

Дальше варианты.
— Если речь про физические сервера , то их часто можно удаленно перезагрузить в "network boot", через который провести исправления.
— Если это виртуальные сервера, то образ диска отсоединяется от упавшей виртуалки, чинится и подключается обратно.
— Самое сложное с компами сотрудников на удаленке, и еще с компаниями, которые имеют много микро-филиалов, POS-терминалов и т.п. Вероятно, они будут рассылать своим сотрудникам загрузочные флешки с патчем и инструкцией.

В целом кажется, что большинство компаний оправятся за несколько дней

Как можно предотвратить подобное?
В больших компаниях хорошая практика — это выкатка апдейтов для критически важного софта под контролем админов. Например, выходит обновление Windows, компьютеры по всему миру начинают обновляться, а админы в компании "придерживают" его: запускают сначала на 1% компов, потом на 10% и так далее.
Для чего это нужно?
1) Вендоры софта обычно и сами выкатывают обновления постепенно. Но вот мы видим пример, когда на стороне вендора что-то пошло не так.
2) Обновление может хорошо работать у других, но ломаться в сочетании с используемым у вас софтом или железом. Выкатка на процент позволит это протестировать, не сломав сразу все.

Что такое критически важный софт? Это тот, проблема с которым может привести либо к полной невозможности для человека работать, либо к потере админами удаленного доступа к системе. Обычная программа не может просто так привести к падению винды в синий экран, винда защищена от этого. Но антивирусы, драйвера, апдейты самой винды — выполняются внутри ядра системы, поэтому они могут.

При чем в случае с антивирусами, это относится не только к апдейтам самого продукта, но и к обновлениям вирусных баз. Думаю, что здесь мог быть как раз такой случай, это объясняет, почему CrowdStrike сами тщательно не протестировали и не выкатили его сначала "на процент".

Еще сюда можно отнести изменения, которые могут сломать не саму ОС, а доступность ее по сети: обновления VPN-клиентов, конфигурации файрволов и т.п.

Что делать компаниям?
Если у вас много компьютеров или серверов (сотни, тысячи и больше), то нужно провести инвентаризацию всего имеющегося на них софта, выбрать из этого списка наиболее критичное, и научиться обновлять его постепенно под контролем админов.
Ну и конечно делать бекапы.
Если бекапов нет, то они важнее: отдельно взятую компанию вирус-шифровальщик может задеть быстрее и сильнее, чем следующий всемирный коллапс

@ciso_on_fire