Машинное обучение — особенно генеративные нейронные сети, такие как ChatGPT, — меняет мир нечеловеческими темпами. Разработчиков на некоторых дистанционных собеседованиях просят направить веб-камеру на рабочее место и клавиатуру, чтобы понимать, самостоятельно ли соискатель выполняет задания. Amazon ограничивает авторов самиздата загрузкой на сайт трех книг в день — фанфики и другая проза создаются неестественно быстро для «кожаных мешков». Поумневшие чат-боты приводят к массовым увольнениям сотрудников поддержки, а дизайнеры опасаются уступить конкуренцию Midjourney и Playground v2.
Генеративный AI словно говорит человечеству: «Сосредоточьтесь на важном, а я займусь искусствами, этими избыточными павлиньими хвостами хомосапиенсов, и рутиной». Люди ставят задачи, а огромная AI-фабрика по созданию цифрового контента их выполняет. Мечта многих, получается, осуществилась? Но преступники тоже используют AI или находят способы обмануть умные системы. Об угрозах ML и AI, в том числе для информационной безопасности, мы будем говорить в традиционном треке на киберфестивале Positive Hack Days 2. У вас есть время подать заявку до 15 марта , чтобы поделиться своим исследованием с 23 по 26 мая на стадионе «Лужники». А сейчас расскажем о некоторых любопытных докладах прошлых лет на ML-треке PHDays.
№ 1. Атаки на биометрию уже освоили достаточно приземленные мошенники. У пользователя взламывают Telegram , находят записи голосовых сообщений, прогоняют их через специальные нейросети, такие как voice.ai и murf.ai, и отправляют голосовое сообщение с просьбой о помощи по контакт-листу в мессенджере. Для защиты от социально-биометрической инженерии стоит выработать привычку как минимум звонить по номеру телефона тому, кто просит о помощи, и в целом не слишком доверять любым входящим сообщениям, которые вы не инициировали. Что касается систем распознавания лиц, их также стараются обучить полезным привычкам, чтобы обезопасить от фейков. AI тренируют с помощью специальных масок, которыми пытаются обмануть нейросеть, и тем самым учат ее распознавать подделку. Об этом рассказывал эксперт компании NtechLab Максим Мухортов в докладе «Атака на биометрическое предъявление и распознавание живого присутствия: от сбора данных до релиза» .
№ 2. Искусственному интеллекту нужны большие данные, но Hadoop, основной инструмент для их анализа, обработки и организации, достаточно легко может быть скомпрометирован. В 2024 году злоумышленники продолжают использовать эту экосистему для взлома и скрытого майнинга криптовалют. На PHDays 11 тимлид Digital Security и пентестер Вадим Шелест познакомил участников форума с типичными ошибками администрирования и конфигурации, а также уязвимостями Hadoop-кластеров и его компонентов. Они позволяли злоумышленникам получить доступ к внутренней инфраструктуре Hadoop — одного из основных инструментов для анализа big data.
«Например, у Sparky есть забавный скрипт Dump Clouds Creds, позволяющий атакующим получить доступ во внутреннюю инфраструктуру компаний в облаках с помощью учетных данных. Необходимые данные можно прочитать из метаданных и пользовательских данных таких сервисов, как AWS и DigitalOcean. Все, что для этого требуется, — значения AccessKey, SecretAccessKey и, если речь идет об Amazon, токен», — приводил пример атаки Вадим Шелест.
№ 3. Генеративно-состязательные сети (Generative adversarial network, сокращенно GAN) — одна из наиболее распространенных такого рода моделей машинного обучения. Они работают без учителя и собраны из двух нейросетей: первая генерирует образцы, а вторая пытается отличить правильные образцы от неправильных. В 2018 году с их помощью взламывали текстовые CAPTCHA, а Николай Лыфенко и Иван Худяшов из Positive Technologies два года назад рассказали о своем опыте применения моделей GAN для генерации векторов атак, связанных с SQL-запросами.
№ 4. Чтобы выдать кредит и не потерять деньги, в банках существуют скоринговые системы, которые оценивают платежеспособность клиента и его риск-профиль. Но так как мошенник может взять кредиты в нескольких банках, требуется единая система скоринга. При этом она должна соблюдать банковскую тайну. О создании конфиденциальной межбанковская скоринговой инфраструктуры, использующую алгоритмы AI, на PHDays 12 поведал Петр Емельянов, CEO Bloomtech LLC.
№ 5. Согласно одной из версий , поймать Кевина Митника помог японский эксперт по кибербезопасности Цутому Симомура, использовавший сканеры сотовой связи. Кевин якобы заинтересовался технологией прослушки и взломал компьютер Симомуры. Последний в итоге помог ФБР выследить Митника. Сегодня для обнаружения любопытного взломщика может использоваться нейросеть. На PHDays 12 эксперты Positive ML Team объяснили , как машинное обучение может применяться для выявления и предотвращения кибератак.
№ 6. В 2020 году были взломаны базы данных компании Clearview AI, которая создавала системы распознавания лиц для правоохранительных органов США и Канады. Как выяснилось , Clearview AI передавала данные более чем 2900 организациям, в том числе Walmart и казино Лас-Вегаса. В традиционно чувствительных сферах, таких как медицина и банки, появляется все больше приложений, использующих искусственный интеллект и машинное обучение. Для взлома таких приложений далеко не всегда требуются сложные математические методы — успех способны принести и известные технические уязвимости, о которых разработчики, не являясь специалистами в области исследования кода, обычно забывают. На PHDays 10 Омар Ганиев рассказал , на что стоит обращать внимание при создании AI-систем, чтобы усложнить атаки на них.
Можете предложить интересное исследование по темам ML и AI? Участвуйте в Call For Papers ! Напоминаем, что прием заявок на доклады заканчивается 15 марта.
