Исследователи превращают модели машинного обучения в оружие с помощью программ-вымогателей

Как будто у защитников цепочек поставок программного обеспечения не было достаточно векторов атак, о которых нужно было беспокоиться, теперь у них появился новый: модели машинного обучения.

Модели машинного обучения лежат в основе таких технологий, как распознавание лиц и чат-боты. Подобно репозиториям программного обеспечения с открытым исходным кодом, модели часто загружаются и передаются разработчиками и учеными по данным, поэтому скомпрометированная модель может оказать сокрушительное влияние на многие организации одновременно.

Исследователи из HiddenLayer, компании, занимающейся безопасностью машинного языка, во вторник рассказали в блоге, как злоумышленник может использовать популярную модель машинного обучения для развертывания программ-вымогателей.

Метод, описанный исследователями, похож на то, как хакеры используют стеганографию для сокрытия вредоносных полезных нагрузок в изображениях. В случае модели ML вредоносный код скрыт в данных модели.

По словам исследователей, процесс стеганографии довольно общий и может применяться к большинству библиотек машинного обучения. Они добавили, что этот процесс не обязательно должен ограничиваться внедрением вредоносного кода в модель, а также может использоваться для извлечения данных из организации.

Внедрение вредоносного ПО в модель машинного языка позволяет ему обходить традиционные средства защиты от вредоносных программ. 

Атаки также могут быть независимыми от операционной системы. Исследователи объяснили, что в модель могут быть встроены полезные данные, специфичные для ОС и архитектуры, где они могут загружаться динамически во время выполнения, в зависимости от платформы.

Полет под радаром

Внедрение вредоносного ПО в модель машинного обучения дает злоумышленнику некоторые преимущества, отмечает Том Боннер, старший директор по исследованиям состязательных угроз в компании HiddenLayer в Остине, штат Техас.

«Это позволяет им летать незаметно», — сказал Боннер NewsTechWorld. «Этот метод не обнаруживается текущим антивирусным программным обеспечением или программным обеспечением EDR».

«Это также открывает для них новые цели», — сказал он. «Это прямой путь к системам обработки данных. Можно подорвать модель машинного обучения, размещенную в общедоступном репозитории. Специалисты по обработке данных вытащат его и загрузят, а затем будут скомпрометированы».

«Эти модели также загружаются на различные платформы операций с машинным обучением, что может быть довольно пугающим, поскольку они могут иметь доступ к корзинам Amazon S3 и красть обучающие данные», — продолжил он.

«Большинство машин, на которых работают модели машинного обучения, имеют большие, толстые графические процессоры, поэтому биткойн-майнеры также могут быть очень эффективными на этих системах», — добавил он.

HiddenLayer демонстрирует, как его предварительно обученная модель ResNet запустила образец программы-вымогателя в тот момент, когда он был загружен в память PyTorch на его тестовой машине.

Преимущество первого хода

Субъекты угроз часто любят использовать непредвиденные уязвимости в новых технологиях, отмечает Крис Клементс, вице-президент по архитектуре решений в Cerberus Sentinel , компании, занимающейся консалтингом в области кибербезопасности и тестированием на проникновение в Скоттсдейле, штат Аризона.

«Злоумышленники, стремящиеся к преимуществу первопроходца на этих границах, могут получить как меньшую готовность, так и упреждающую защиту от использования новых технологий, — сказал Клементс NewsTechWorld.

«Эта атака на модели машинного языка кажется следующим шагом в игре в кошки-мышки между нападающими и защитниками», — сказал он.

Майк Паркин, старший технический инженер Vulcan Cyber , поставщика SaaS для устранения кибер-рисков на предприятиях в Тель-Авиве, Израиль, отметил, что злоумышленники будут использовать любые возможные векторы для проведения своих атак.

«Это необычный вектор, который может обойти довольно много распространенных инструментов, если действовать осторожно», — сказал Паркин NewsTechWorld.

Традиционные решения для защиты от вредоносных программ и конечных точек, а также решения для обнаружения и реагирования предназначены для обнаружения программ-вымогателей на основе поведения, основанного на шаблонах, включая сигнатуры вирусов и мониторинг ключевых запросов API, файлов и реестра в Windows на предмет потенциальной вредоносной активности, пояснил Мори Хабер, главный специалист по безопасности в BeyondTrust , производитель решений для управления привилегированными учетными записями и управления уязвимостями в Карлсбаде, Калифорния.

«Если машинное обучение применяется к доставке вредоносных программ, таких как программы-вымогатели, то традиционные векторы атак и даже методы обнаружения могут быть изменены, чтобы казаться невредоносными», — сказал Хабер NewsTechWorld.

Потенциал обширного ущерба

Атаки на машинно-языковые модели растут, отмечает Карен Кроули, директор по продуктовым решениям Deep Instinct , компании по кибербезопасности с глубоким обучением в Нью-Йорке.

«Пока это незначительно, но потенциал для широкомасштабного ущерба есть», — сказал Кроули NewsTechWorld.

«В цепочке поставок, если данные отравлены так, что когда модели обучаются, система также отравлена, эта модель может принимать решения, которые снижают безопасность, а не укрепляют ее», — пояснила она.

«В случае с Log4j и SolarWinds мы увидели влияние не только на организацию, владеющую программным обеспечением, но и на всех ее пользователей в этой цепочке», — сказала она. «Как только ОД будет введено, этот ущерб может быстро увеличиться».

Кейси Эллис, технический директор и основатель Bugcrowd , которая управляет краудсорсинговой платформой для поиска ошибок, отметил, что атаки на модели ML могут быть частью более широкой тенденции атак на цепочки поставок программного обеспечения.

«Точно так же, как злоумышленники могут попытаться скомпрометировать цепочку поставок программных приложений, чтобы вставить вредоносный код или уязвимости, они могут также нацелиться на цепочку поставок моделей машинного обучения, чтобы вставить вредоносные или необъективные данные или алгоритмы», — сказал Эллис NewsTechWorld.

«Это может оказать существенное влияние на надежность и целостность систем ИИ и может быть использовано для подрыва доверия к технологии», — сказал он.

Паблум для Script Kiddies

Злоумышленники могут проявлять повышенный интерес к моделям машин, потому что они более уязвимы, чем люди думали.

«Люди знали, что это возможно в течение некоторого времени, но они не понимали, насколько это просто», — сказал Боннер. «Очень просто связать атаку с несколькими простыми скриптами».

«Теперь, когда люди осознают, насколько это просто, это уже дело сценаристов», — добавил он.

Клементс согласился с тем, что исследователи показали, что для вставки вредоносных команд в обучающие данные, которые затем могут запускаться моделями машинного обучения во время выполнения, не требуется серьезных знаний в области обработки данных ML/AI.

Тем не менее, продолжил он, это требует большей изощренности, чем обычные атаки программ-вымогателей, которые в основном основаны на простой подмене учетных данных или фишинге для запуска.

«Прямо сейчас я думаю, что популярность конкретного вектора атаки, вероятно, будет низкой в ​​обозримом будущем», — сказал он.

«Чтобы использовать это, злоумышленник должен скомпрометировать проект модели машинного обучения вышестоящего уровня, используемый нижестоящими разработчиками, обманным путем заставить жертву загрузить предварительно обученную модель машинного обучения с вредоносными командами, встроенными из неофициального источника, или скомпрометировать частный набор данных, используемый разработчиками машинного обучения для вставки подвиги», — пояснил он.

«В каждом из этих сценариев, — продолжил он, — кажется, что будут гораздо более простые и прямые способы компрометации цели, помимо вставки запутанных эксплойтов в обучающие данные».