Рассмотрены вопросы безопасного функционирования нейросетей глубокого машинного обучения (DNN) как сущности, являющейся одновременно и средством обеспечения информационной безопасности, и объектом кибератак, ландшафт которых постоянно расширяется. Главным механизмом настройки DNN на решение конкретной задачи является машинное обучение (МО). В то же время, МО является угрозой и одновременно уязвимостью DNN перед атаками, связанной с внедрением программных закладок — бэкдоров. В работе приведены примеры взлома (отравления) искусственного интеллекта (ИИ) на основе DNN по ряду систем распознавания образов. Представлены математические и структурные модели взлома ИИ на этапе МО и даны рекомендации по противостоянию бэкдор-атакам на основе технологий обрезки и тонкой настройки.
< ... >
This paper considers the security issues of deep neural networks (DNN). DNN is an entity that is both a means of ensuring information security and an object of cyberattacks, the landscape of which is constantly expanding. The global mechanism for tuning DNNs to solve a specific task is machine learning (ML). At the same time, machine learning is a threat and a vulnerability of DNN to attacks in the form of backdoors. The paper presents examples of DNN-based artificial intelligence (AI) hacking (poisoning) on a number of pattern recognition systems. Mathematical and structural models of AI «hacking» at the training stage are presented and practical recommendations for countering backdoor attacks based on «pruning» and fine-tuning technologies are given.
Keywords:
artificial intelligence, machine learning, DNN, backdoor attacks, threats, vulnerabilities, neural network hacking, pruning, fine-tuning
Полную версию статьи смотрите на страницах журнала «Защита информации. Инсайд»
