Манипулирование памятью ИИ через кнопки суммаризации (AI Recommendation Poisoning)
Ключевые факты
- 1 AI Recommendation Poisoning — новый тип атаки.
- 2 Это разновидность prompt injection.
- 3 Атаки используют кнопки суммаризации на сайтах.
- 4 Цель — манипулирование памятью ИИ для рекламных целей.
- 5 Исследование проведено аналитиками Microsoft.
Аналитики компании Microsoft описали новый вид атак, получивший название "AI Recommendation Poisoning". Эта техника является продвинутой формой prompt injection и направлена на манипулирование поведением систем искусственного интеллекта, в частности, их рекомендательных алгоритмов. Злоумышленники используют широко распространенные на веб-сайтах кнопки суммаризации, чтобы внедрять скрытые инструкции или рекламные сообщения в "память" ИИ, когда пользователи взаимодействуют с этими функциями. Цель таких атак — заставить ИИ рекомендовать определенные продукты, услуги или контент, выгодный злоумышленникам, без прямого ведома пользователя. Это создает угрозу для целостности рекомендательных систем и может привести к нежелательному рекламному воздействию или дезинформации.