Gartner советует отключать корпоративный ИИ по пятницам после обеда — и это не шутка, хотя начиналось как шутка

Аналитик Gartner Деннис Сюй в полушутку предложил запретить Microsoft Copilot по пятницам после обеда. Причина звучит вполне серьезно: к концу недели сотрудники чаще спешат закрыть задачи и реже внимательно проверяют ответ ИИ. В такой момент Copilot может выдать формально точный, но неприемлемый по тону или содержанию текст для коллег и клиентов.

Сюй озвучил рекомендацию на конференции Security & Risk Management Summit в Сиднее во время выступления о пяти главных рисках Microsoft 365 Copilot. Последний риск в списке касался токсичного контента. Речь шла о случаях, когда Copilot не ошибается в фактах, но формулирует ответ так, что публикация в рабочей переписке или общении с заказчиком превращается в проблему. Для снижения риска аналитик посоветовал включить встроенные фильтры Microsoft и приучить сотрудников всегда перепроверять результат.

По словам Сюя, любой текст от Copilot требует проверки перед отправкой. Особенно опасным аналитик считает конец рабочей недели, когда часть сотрудников действует по принципу быстрее закончить и уйти. В такой обстановке ошибки, спорные формулировки и неуместные ответы проходят незамеченными, поэтому пятничный запрет прозвучал уже не как шутка, а как вполне практическая мера.

Большую часть выступления Сюй посвятил другой проблеме: Copilot помогает находить документы, доступ к которым изначально открыли слишком широко. Аналитик напомнил, что ИИ не создает новый риск с нуля, а резко усиливает старую проблему избыточных прав доступа. В качестве примера Сюй привел сотрудника, который ищет через Copilot сведения о кадровых изменениях и получает конфиденциальный файл о готовящейся реорганизации.

Причина кроется в устройстве Microsoft 365. Copilot умеет искать данные на сайтах SharePoint, а доступ к файлам там регулируют сразу несколько механизмов, включая метки и списки контроля доступа. Любая ошибка в настройках открывает дорогу к лишним материалам, а исправление таких промахов часто требует много времени. Microsoft уже предлагает отдельный инструмент, который может накладывать более строгие правила доступа и автоматически находить пересвеченный контент, но Сюй все равно призвал компанию создать единый защитный слой.

Сюй также перечислил еще три риска. Первый связан с удаленным выполнением действий через вредоносные запросы и попытки внедрить в Copilot чужие инструкции. Для защиты аналитик советует включать фильтры команд и по возможности ограничивать доступ Copilot к источникам вроде электронной почты, где вредоносные подсказки могут встречаться чаще. Второй риск касается доступа к чувствительным данным при подключении Copilot к сторонним SaaS-сервисам. Встроенный веб-плагин у Microsoft активирован по умолчанию, а модуль для связи со сторонними приложениями изначально выключен. Сюй рекомендует открывать такие интеграции только при реальной необходимости.

Третий риск связан с prompt injection, то есть с попытками заставить языковую модель игнорировать защитные ограничения. Сюй предупредил, что компании иногда сами подталкивают сотрудников к таким экспериментам, когда призывают активнее пробовать возможности ИИ. Снизить опасность помогают внутренние правила, обучение сотрудников и фильтры безопасности контента в Azure OpenAI Service.

В финале выступления Сюй снова вернулся к иронии и заметил, что настраивать защиту лучше утром в пятницу, а не после обеда. После такого совета шутка про запрет Copilot в конце недели уже не выглядит слишком уж шуточной.