25 апреля 2025
Как искусственный интеллект меняет правила кибербезопасности: итоги дискуссии на TRANS AI 2025
Перспективы применения искусственного интеллекта в информационной безопасности, в том числе в транспортной отрасли, обсудили участники сессии «Безопасность от ИИ: использование ИИ при обеспечении ИБ», в рамках конференции «Искусственный интеллект в дорожной отрасли — TRANS AI 2025» в инновационном центре «Сколково». Организатором конференции выступил концерн «Телематика» при поддержке АО «НИИАС» и компании «ТрансТелеКом».
Оскар Гадыльшин, руководитель департамента ИТ и кибербезопасности ICL Системные технологии, отметил, что искусственный интеллект уже активно применяется для обнаружения мошенничества, анализа сетевого трафика, обработки событий в ИТ-системах и мониторинга уязвимостей. «Количество событий, которые генерируют ИТ-системы, огромное. С помощью ИИ центры мониторинга анализируют эти события и выявляют инциденты, на которые должен обратить внимание человек», — рассказал он.
По словам Оскара Гадыльшина, с помощью искусственного интеллекта можно детектировать 100% тактик хакеров по классификации MITRE ATT&CK и более половины техник атак. Он подчеркнул, что на сегодня ИИ применяется информационной безопасности только частично, дополняя классические подходы, но ни одного решения, на сто процентов основанного на искусственном интеллекте пока нет.
Развитие интеллектуальных систем открывает новые возможности для противодействия угрозам, ранее считавшимся крайне сложными для обнаружения. Антон Лось, ведущий системный аналитик компании «ИнфоТеКС», рассказал, что машинное обучение позволяет выявлять атаки нулевого дня — новые угрозы, которые ранее не встречались в практике. «Искусственный интеллект позволяет собрать огромный опыт, заложенный в данных, и по характерным особенностям атаки выявить то, что отличается от легитимной активности», — пояснил он.
Эксперт также подчеркнул, что злоумышленники используют ИИ в своих атаках: «С одной стороны, искусственный интеллект помогает защищать системы, а с другой — злоумышленники тоже применяют ИИ для атак. Это два направления: первое — это сокрытие следов и подмена данных, например, при распознавании автомобильных номеров. Второе — более сложные атаки на сами модели машинного обучения, когда злоумышленники внедряются в обучающие выборки и меняют поведение системы. Эти угрозы требуют разных методов защиты».
Особое внимание участники дискуссии уделили росту угроз в области социальной кибербезопасности. Евгений Новиков, генеральный директор Trust Technologies, сообщил, что после появления крупных языковых моделей, таких как ChatGPT, объем фишинговых писем вырос на 1000%. «Фишинговые письма сейчас генерируются очень просто и легко с помощью больших языковых моделей. Несмотря на попытки производителей ограничить подобное использование ИИ, эти барьеры легко обходятся. И главная проблема в будущем — это фишинг с использованием дипфейков, когда злоумышленники смогут подменять голос и изображение, чтобы обманывать системы подтверждения личности», — подчеркнул он.
Уже сейчас моделям машинного обучения можно дать возможность самим принимать решения без оператора, отметил Антон Лось. В качестве примера, как это может работать, он предложил подход Zero Trust, когда пользователю выдается ровно столько привилегий и доступов, чтобы он сделал свою функцию, и, если вдруг пользователь подозрительно себя ведет — понижать уровень привилегий без участия оператора.
Несмотря на активное развитие технологий, эксперты сошлись во мнении, что полностью передавать контроль искусственному интеллекту пока рано.
Технический директор по направлению «Умный город» АО «Росатом инфраструктурные решения» Наталья Данковцева подчеркнула: «Паттерны мошенничества мутируют из-за парадоксальности мышления человека. ИИ пока не освоил эту способность, поэтому в критических процессах нам все еще нужен человек». Говоря о социальных последствиях цифровизации, она добавила, что широкое применение ИИ может привести к сильному расслоению в ИТ-сфере, к востребованности талантливых экспертов, нижнему слою низкоквалифицированного труда, по середине возникнет барьер, замещенный новыми технологиями. А основой для профессионального роста станут социальные навыки коммуникации, гибкости, способности к обучению.
Говоря о социальных последствиях цифровизации, она добавила, что широкое применение ИИ может привести к исчезновению потребности в начинающих специалистах без опыта, а основой для профессионального роста станут навыки коммуникации, гибкости, способности к обучению.
Продолжая тему, генеральный директор компании «Код безопасности» Андрей Голов отметил, что сохранение возможностей для молодых специалистов имеет ключевое значение: «Хочется верить, что джуны все-таки останутся и вырастут в сеньоров, которые смогут оседлать эту „Матрицу“. ИИ станет для нас хорошим помощником, если его вовремя ограничивать в правах и принятии решений в определенных отраслях».
Важной темой стала также перспектива регулирования технологий ИИ. Оскар Гадыльшин напомнил, что в проекте нового приказа ФСТЭК появились требования к безопасности использования искусственного интеллекта в государственных системах. Он отметил, что ряд предложений — например, обязательная шаблонизация всех запросов и ответы ИИ — может существенно затормозить развитие технологий. По его мнению, сейчас нужно осторожно подходить к введению жестких норм, чтобы сохранить гибкость отрасли.
Евгений Новиков рассказал, что в России уже создан альянс из ведущих компаний, который разработал кодекс этики в области ИИ. Помимо этого, разрабатываются стандарты для промышленности, образования, медицины и других сфер.
«Эти документы носят пока рекомендательный характер. Но важно понимать: если государство будет пытаться регулировать отрасль слишком жестко, это может привести к росту времени от идеи до выхода продукта на рынок (time-to-market) и потере международной конкурентоспособности», — подчеркнул он. В то же время, по словам Новикова, в рамках консорциума при Минцифры ведется работа над созданием систем обеспечения информационной безопасности в области ИИ.
Сайт конференции: https://ai.telematika.com/
Справочная информация:
Научно-практическая конференция «Искусственный интеллект в транспортной отрасли — TRANS AI» — ежегодная конференция, посвященная обсуждению достижений применения искусственного интеллекта (ИИ), перспектив его распространения и влияния на дорожную отрасль. С 2024 года мероприятие проходит в Москве в Инновационном центре Сколково и собирает ведущих экспертов отрасли.
В 2025 году мероприятие объединило более 400 участников: представителей государственных структур, ведущих IT-компаний, научных центров и отраслевых экспертов. На площадке конференции выступили 34 спикера. Участники обсудили как ИИ уже сегодня меняет разные сферы жизни, в том числе транспортную отрасль, влияние на рынок труда и как технология будет развиваться дальше.
В научной сессии рассматривались новейшие исследования в области больших языковых моделей, компьютерного зрения, нейроинтерфейсов и робототехники. Форсайт-сессия была посвящена вопросам использования ИИ в транспортной отрасли, развитию беспилотного транспорта, полной цифровизации и роботизации транспортной инфраструктуры. Отдельная дискуссия затронула роль ИИ в кибербезопасности: эксперты обсудили, как ИИ-решения помогают автоматизировать защиту и справляться с рутинными задачами.
По словам Оскара Гадыльшина, с помощью искусственного интеллекта можно детектировать 100% тактик хакеров по классификации MITRE ATT&CK и более половины техник атак. Он подчеркнул, что на сегодня ИИ применяется информационной безопасности только частично, дополняя классические подходы, но ни одного решения, на сто процентов основанного на искусственном интеллекте пока нет.
Развитие интеллектуальных систем открывает новые возможности для противодействия угрозам, ранее считавшимся крайне сложными для обнаружения. Антон Лось, ведущий системный аналитик компании «ИнфоТеКС», рассказал, что машинное обучение позволяет выявлять атаки нулевого дня — новые угрозы, которые ранее не встречались в практике. «Искусственный интеллект позволяет собрать огромный опыт, заложенный в данных, и по характерным особенностям атаки выявить то, что отличается от легитимной активности», — пояснил он.
Эксперт также подчеркнул, что злоумышленники используют ИИ в своих атаках: «С одной стороны, искусственный интеллект помогает защищать системы, а с другой — злоумышленники тоже применяют ИИ для атак. Это два направления: первое — это сокрытие следов и подмена данных, например, при распознавании автомобильных номеров. Второе — более сложные атаки на сами модели машинного обучения, когда злоумышленники внедряются в обучающие выборки и меняют поведение системы. Эти угрозы требуют разных методов защиты».
Особое внимание участники дискуссии уделили росту угроз в области социальной кибербезопасности. Евгений Новиков, генеральный директор Trust Technologies, сообщил, что после появления крупных языковых моделей, таких как ChatGPT, объем фишинговых писем вырос на 1000%. «Фишинговые письма сейчас генерируются очень просто и легко с помощью больших языковых моделей. Несмотря на попытки производителей ограничить подобное использование ИИ, эти барьеры легко обходятся. И главная проблема в будущем — это фишинг с использованием дипфейков, когда злоумышленники смогут подменять голос и изображение, чтобы обманывать системы подтверждения личности», — подчеркнул он.
Уже сейчас моделям машинного обучения можно дать возможность самим принимать решения без оператора, отметил Антон Лось. В качестве примера, как это может работать, он предложил подход Zero Trust, когда пользователю выдается ровно столько привилегий и доступов, чтобы он сделал свою функцию, и, если вдруг пользователь подозрительно себя ведет — понижать уровень привилегий без участия оператора.
Несмотря на активное развитие технологий, эксперты сошлись во мнении, что полностью передавать контроль искусственному интеллекту пока рано.
Технический директор по направлению «Умный город» АО «Росатом инфраструктурные решения» Наталья Данковцева подчеркнула: «Паттерны мошенничества мутируют из-за парадоксальности мышления человека. ИИ пока не освоил эту способность, поэтому в критических процессах нам все еще нужен человек». Говоря о социальных последствиях цифровизации, она добавила, что широкое применение ИИ может привести к сильному расслоению в ИТ-сфере, к востребованности талантливых экспертов, нижнему слою низкоквалифицированного труда, по середине возникнет барьер, замещенный новыми технологиями. А основой для профессионального роста станут социальные навыки коммуникации, гибкости, способности к обучению.
Говоря о социальных последствиях цифровизации, она добавила, что широкое применение ИИ может привести к исчезновению потребности в начинающих специалистах без опыта, а основой для профессионального роста станут навыки коммуникации, гибкости, способности к обучению.
Продолжая тему, генеральный директор компании «Код безопасности» Андрей Голов отметил, что сохранение возможностей для молодых специалистов имеет ключевое значение: «Хочется верить, что джуны все-таки останутся и вырастут в сеньоров, которые смогут оседлать эту „Матрицу“. ИИ станет для нас хорошим помощником, если его вовремя ограничивать в правах и принятии решений в определенных отраслях».
Важной темой стала также перспектива регулирования технологий ИИ. Оскар Гадыльшин напомнил, что в проекте нового приказа ФСТЭК появились требования к безопасности использования искусственного интеллекта в государственных системах. Он отметил, что ряд предложений — например, обязательная шаблонизация всех запросов и ответы ИИ — может существенно затормозить развитие технологий. По его мнению, сейчас нужно осторожно подходить к введению жестких норм, чтобы сохранить гибкость отрасли.
Евгений Новиков рассказал, что в России уже создан альянс из ведущих компаний, который разработал кодекс этики в области ИИ. Помимо этого, разрабатываются стандарты для промышленности, образования, медицины и других сфер.
«Эти документы носят пока рекомендательный характер. Но важно понимать: если государство будет пытаться регулировать отрасль слишком жестко, это может привести к росту времени от идеи до выхода продукта на рынок (time-to-market) и потере международной конкурентоспособности», — подчеркнул он. В то же время, по словам Новикова, в рамках консорциума при Минцифры ведется работа над созданием систем обеспечения информационной безопасности в области ИИ.
Сайт конференции: https://ai.telematika.com/
Справочная информация:
Научно-практическая конференция «Искусственный интеллект в транспортной отрасли — TRANS AI» — ежегодная конференция, посвященная обсуждению достижений применения искусственного интеллекта (ИИ), перспектив его распространения и влияния на дорожную отрасль. С 2024 года мероприятие проходит в Москве в Инновационном центре Сколково и собирает ведущих экспертов отрасли.
В 2025 году мероприятие объединило более 400 участников: представителей государственных структур, ведущих IT-компаний, научных центров и отраслевых экспертов. На площадке конференции выступили 34 спикера. Участники обсудили как ИИ уже сегодня меняет разные сферы жизни, в том числе транспортную отрасль, влияние на рынок труда и как технология будет развиваться дальше.
В научной сессии рассматривались новейшие исследования в области больших языковых моделей, компьютерного зрения, нейроинтерфейсов и робототехники. Форсайт-сессия была посвящена вопросам использования ИИ в транспортной отрасли, развитию беспилотного транспорта, полной цифровизации и роботизации транспортной инфраструктуры. Отдельная дискуссия затронула роль ИИ в кибербезопасности: эксперты обсудили, как ИИ-решения помогают автоматизировать защиту и справляться с рутинными задачами.
