Компания Cloudflare потеряла данные из-за инцидента ИБ

Cloudflare сообщила о серьезном инциденте ИБ. Данные были утеряны в результате инцидента ИБ при обновлении системы. Ошибка возникла в результате системных сбоев. Для ликвидации инцидента ИБ пришлось провести сброс системы.

Американская компания Cloudflare, один из ведущих игроков на рынке информационной безопасности, сообщила о серьезной проблеме в своей системе Cloudflare Logs, предназначенной для сбора и анализа метаданных. Эта проблема привела к потере клиентских данных. В результате обновления ПО произошла череда ошибок в настройках и каскадные сбои в системе.

Cloudflare Logs собирает журналы событий из глобальной сети Cloudflare, которая используется клиентами компании для таких процессов, как отладка, соответствие требованиям и аналитика. Чтобы оптимизировать доставку наборов логов и избежать перегрузки системы, компания использует инструмент Logpush, который позволяет объединять журналы событий и передавать их в виде управляемых пакетов. Ошибка в Cloudflare Logs возникла именно в результате обновления Logpush, вызвавшего ряд системных сбоев, нарушившего работу сервисов и приведшего к потере данных.

Инцидент начался с обновления конфигурации для поддержки дополнительного набора данных в Logpush. Ошибка в конфигурации привела к тому, что Logfwdr, компонент, отвечающий за пересылку журналов событий, получил пустую конфигурацию. Logfwdr воспринял это как указание к тому, что журналы передавать не надо. Специалистам Cloudflare удалось выявить проблему в течение нескольких минут и отменить изменения.

Однако отмена обновления активировала вторичную, ранее существовавшую ошибку в Logfwdr. В результате компонент обработал логи и попытался передать журналы для всех клиентов, а не только для тех, у кого были активные конфигурации.

Неожиданный всплеск интенсивности обработки журналов Buftee, систему буферизации журналов Cloudflare. Этот инструмент служит для поддержки отдельных буферов обмена у отдельных клиентов, чтобы обеспечить целостность данных и избежать помех между заданиями. В обычных условиях Buftee обрабатывает миллионы буферов по всему миру. Но огромный приток данных после ошибки в Logfwdr увеличил потребность в буфере примерно в сорок раз, что превышало возможности Buftee. Таким образом система перестала реагировать на команды.

В Cloudflare заявили, что для решения проблемы потребовался сброс настроек и несколько часов работы для восстановления системы. Хотя в компании были предусмотрены механизмы для управления подобными сбоями, они оказались бессильны перед столь масштабной проблемой.

Компания Cloudflare принесла извинения клиентам за допущенный сбой и объявило о плане по предотвращению подобных инцидентов. В частности, фирма планирует ввести новую систему оповещений для более эффективного обнаружения ошибок конфигурации, а также обновить механизмы обеспечения отказоустойчивости и провести тесты на отказоустойчивость.

«В обычные дни Cloudflare отправляет клиентам около 4,5 трлн логов, — сообщает компания в своем блоге. — Хотя это составляет всего менее 10% от всего объема обрабатываемых журналов событий (порядка 50 трлн сообщений в день), но создает уникальную проблему масштабирования при построении надежной и отказоустойчивой системы».

Кроме того, Cloudflare обещает усовершенствовать архитектуру системы логов с целью гарантировать, что отдельные компоненты системы смогут лучше справляться с каскадными сбоями. Компания признает, что сбои в сложных системах практически неизбежны, однако сосредотачивает внимание на смягчении их воздействия и обеспечении быстрого восстановления сервисов.

Это не первый крупный инцидент ИБ в компании Cloudflare в 2024 году. В октябре она сообщила об успешном отражении крупной DDoS-атаки, пиковая мощность которой составляла 3,8 терабит в секунду. На протяжении почти месяца компания терпела нагрузки на свою сетевую инфраструктуру. Судя по всему, злоумышленники старались вывести из строя системы связи и финансовые сервисы.

Источник: Techmonitor