bannerbanner
Промпт-инжиниринг в информационной безопасности. Как искусственный интеллект станет вашим союзником
Промпт-инжиниринг в информационной безопасности. Как искусственный интеллект станет вашим союзником

Полная версия

Промпт-инжиниринг в информационной безопасности. Как искусственный интеллект станет вашим союзником

Настройки чтения
Размер шрифта
Высота строк
Поля
На страницу:
1 из 3

Промпт-инжиниринг в информационной безопасности

Как искусственный интеллект станет вашим союзником


Константин Михайлович Саматов

© Константин Михайлович Саматов, 2025


ISBN 978-5-0065-8262-0

Создано в интеллектуальной издательской системе Ridero

Введение: почему искусственный интеллект – ваш новый союзник в ИБ?

Искусственный интеллект уже здесь – и он не ждет

Вы просыпаетесь утром, проверяете почту и видите 200 новых инцидентов в SIEM1. Фишинговые атаки, подозрительные подключения, уязвимости в коде… Знакомо? Теперь представьте, что 80% из них уже проанализированы – не вами, а искусственным интеллектом.

Пример:

В 2023 году ChatGPT сократил время анализа логов на 60% в одной из компаний из Fortune 500.

Не потому, что он умнее вас, а потому, что он быстрее.

Ваш вопрос: «А если я не разбираюсь в AI?»2

Ответ: Вам и не нужно. Эта книга – не про математику нейросетей, а про то, как заставить их работать на вас.



Следует отметить, что в 2024 году ChatGPT с обновлением GPT-4Turbo значительно улучшил анализ логов, позволяя компаниям из Fortune 500, таким как Adobe и Uber, ускорить обработку данных и выявление ошибок. Благодаря интеграции с Python и возможностям автоматизации, время анализа сократилось на 50—70% в зависимости от объема данных3.

Однако, в России пока сохраняется некоторое недоверие в части применения искусственного интеллекта в деловых процессах организации. Особенно в сфере информационной безопасности (ИБ).

Я проанализировал множество книг и курсов на русском языке, посвященных искусственному интеллекту – все они либо посвящены применению одной из конкретных моделей AI (ChatGPT от OpenaAI) для генерации продающего контента, либо подробно рассказывают как устроены и работают нейросети и иные модели искусственного интеллекта языком сложной математики.

В этой связи, у меня появилась идея рассказть Вам, специалистам по информационной безопасности, как применять доступные модели искусственного интеллекта, в ваших практических задачах. Все свои мысли я постарался изложить простым языком и снабдить примерами.

Почему именно вы?

ИБ-специалисты4 – идеальные кандидаты для работы с искусственным интеллектом. Почему?

Вы знаете контекст.

AI не понимает, что такое «нормальное поведение» в вашей информационной инфраструктуре. Вы – понимаете.

Вы умеете формулировать задачи.

Промпт-инжиниринг – это не программирование. Это навык ставить четкие задачи – то, чем вы занимаетесь каждый день.

Вы уже используете автоматизацию.

– SIEM, SOAR5, EDR6, сканеры уязвимостей… Искусственный интеллект – просто следующий шаг.

Что такое промпт-инжиниринг?

Промпт – это инструкция для модели искусственного интеллекта. Промпт-инжиниринг – искусство составлять эти инструкции так, чтобы модель делала именно то, что вам нужно.

Пример:

Плохой промпт: «Напиши политику безопасности».

Результат: Общие фразы, которые не подойдут вашей компании.

Хороший промпт: «Ты – CISO7 банка. Напиши политику для сотрудников по работе с ChatGPT. Учитывай:

– Запрещено загружать клиентские данные.

– Все запросы должны логироваться.

– Санкции за нарушения: предупреждение, блокировка доступа, увольнение».

Результат: Готовый документ, который можно внедрить завтра.

Важно: Все промпты, которые вы найдёте в этой книге, работают не только в ChatGPT. Они адаптированы для использования в любых современных больших языковых моделях (так называемых LLM – large language model): Claude, Gemini, YandexGPT, GigaChat, Qwen и других. Это возможно, потому что все они построены на схожих принципах, хотя каждая имеет свои уникальные особенности. Например, Claude лучше справляется с анализом длинных текстов, а Qwen идеально подходит для локального (внутри организации или на вашем компьютере) использования. Вы сможете выбрать инструмент, который лучше всего подходит под ваши задачи и требования к безопасности.

Чем промпт-инженер отличается от Data Scientist и ML Engineer?

Data Scientist – это специалист, который строит модели машинного обучения с нуля. Он разбирается в алгоритмах, пишет код на Python, оптимизирует нейронные сети и работает с большими данными. Его задача – создать модель, которая решает конкретную задачу, будь то классификация изображений или прогнозирование спроса.

ML Engineer – это инженер, который внедряет модели, созданные Data Scientist, в реальные системы. Он отвечает за масштабирование, интеграцию с существующей инфраструктурой и обеспечение стабильной работы моделей при вводе и после ввода в эксплуатацию.

Промпт-инженер – это специалист, который не создаёт модели и не внедряет их. Он знает, как использовать уже готовые модели для решения задач. Его инструмент – не код, а язык. Он формулирует запросы так, чтобы модель искусственного интеллекта выдавала полезные и точные результаты.

Почему это важно для ИБ? Вам не нужно разбираться в тонкостях машинного обучения или писать код. Ваша экспертиза – в понимании контекста безопасности. Промпт-инжиниринг позволяет использовать искусственный интеллект как инструмент, не углубляясь в его устройство. По сути – промпт-инжиниринг, это больше навык (навык будущего), а не отдельная профессия. Освоение этого навыка поможет вам оставаться на плаву в быстро меняющемся мире.

Что вы получите от этой книги?

Готовые инструменты. Шаблоны промптов для анализа угроз, составления отчетов, настройки и внедрения средств защиты, обучения сотрудников и т. п.

Практические кейсы. Как с помощью искусственного интеллекта проанализировать исходный код, разработать пакет организационно-распорядительных документов, подготовиться к аудиту или сократить время анализа инцидентов.

Безопасность. Как использовать искусственный интеллект, не рискуя конфиденциальными данными.

Как читать эту книгу?

Если вы новичок в тематике исусственного интеллекта — читайте последовательно. Каждая глава – шаг к уверенной работе с AI.

Если у вас есть опыт: Переходите к кейсам и шаблонам.

Главное правило: Не просто читайте – пробуйте. Каждая глава заканчивается заданием, которое можно выполнить за 5—10 минут (а иногда и меньше).

Ваш первый шаг

Откройте ChatGPT или любой другой сервис с большими языковым моделями (например, chat.qwenlm.ai, chat.mistral.ai).

Введите: «Действуй как эксперт по кибербезопасности. Перечисли 5 самых частых векторов атак на FinTech-стартапы в 2024 году. Формат: Название/Пример/Рекомендации по защите».

Результат – ваш первый промпт.

Дальше будет только интереснее!

Резюме главы

Искусственный интелелкт (AI8) – не угроза вашей работе, а инструмент, который сделает её эффективнее. Эта книга – ваш гид по миру промпт-инжиниринга. Не важно, сталкивались ли вы с AI раньше – через несколько страниц вы начнёте использовать его в своей работе.

Каждая часть данной книги заканчивается «Практикумом» – заданием, которое можно выполнить, не отходя от книги.

Нет абстрактной теории – только то, что работает и именно в реалиях ИБ: от анализа кода до подготовки к аудиту.

И последнее

Пусть эта книга станет вашим настольным справочником. Вот простое соглашение: в ближайшие две недели каждый раз, когда перед вами встанет задача – будь то анализ угроз, составление отчетов, обучение сотрудников или подготовка к аудиту, – прежде чем браться за неё вручную, загляните в эту книгу. Проверьте, можно ли решить её с помощью AI.

А через две недели – проанализируйте, сколько часов вы сэкономили, сколько рутинных задач делегировали AI и какие идеи удалось реализовать быстрее.

Часть 1. Основы промпт-инжиниринга


1.1. Промпт-инжиниринг – это не магия, а навык

AI – это инструмент, который работает только тогда, когда вы знаете, как им пользоваться. Он не умеет читать мысли, не знает контекста вашей компании и не понимает, что для вас важно.

Пример:

Плохо: «Напиши сценарий для тренировки SOC9».

Результат: Общий сценарий, который не учитывает специфику вашей инфраструктуры или текущих угроз.

Хорошо: «Ты – эксперт по кибербезопасности. Напиши сценарий для тренировки SOC, который включает:

– фишинговую атаку с использованием поддельного домена, похожего на наш корпоративный;

– попытку эксплуатации уязвимости в устаревшей версии VPN10;

– действия злоумышленника после успешного проникновения: поиск и кража данных клиентов.

Учитывай, что наша инфраструктура включает облачные сервисы и локальные серверы».

Результат: Сценарий, который можно сразу использовать для тренировки вашей команды.

Почему это важно: AI не умеет читать мысли. Чем точнее ваш запрос, тем лучше результат.

Промпт-инжиниринг – это искусство формулировать задачи так, чтобы AI понимал, что от него хотят, и выдавал полезный результат.

1.2. Как устроен промпт: 4 ключевых элемента

Каждый промпт – это мини техническое задание. Пропустите один элемент – AI «додумает» вместо вас. Чтобы получить предсказуемый результат, каждый запрос должен содержать четыре элемента.

Разберем их на примерах из практики ИБ:

1. Роль: Кто вы и зачем спрашиваете?

AI не знает вашу роль, компанию или текущие угрозы. Установка роли помогает ему «войти в положение».

Примеры:

Базовый уровень: «Ты (Действуй как) – аналитик SOC».

Проблема: Слишком общо. AI не поймёт, на чём фокусироваться.

Хороший вариант: «Ты (Действуй как) – senior-аналитик SOC в финтех-стартапе [энергетической компании, металлургическом предприятии и т.п.11]».

Почему работает: модель AI понимает, в роли какого эксперта и какой отрасли она должна выступать.

В большинстве случаев для специалиста по ИБ характерны такие роли: пентестер, аудитор, CISO, эксперт. Однако, большое преимущество применения AI моделей в том, что мы можем использовать и иные (не характерные для ИБ) роли: юрист, HR, Software Engineer, Data Scientist и даже роль промпт-инженера для создания продвинутых промптов (о них мы поговорим позже).

2. Задача: Что именно нужно сделать?

Чем конкретнее задача, тем меньше придется переделывать результат.


Примеры:

Плохо: «Проверь безопасность» – AI выдаст общие рекомендации по ISO 27001.

Хорошо: «Проанализируй этот фрагмент кода API на уязвимости типа IDOR (Insecure Direct Object Reference). Укажи номера строк с рисками и предложи патчи или меры по их устранению».

Ещё лучше: «Сгенерируй 5 реалистичных сценариев атак на наш VPN (версия х.х.х), которые могут использовать уязвимость CVE-2023-12345. Для каждого сценария укажи: вектор атаки, методы обнаружения, рекомендации по блокировке».

Типичные ошибки:

Расплывчатые глаголы: «Проверь», «Проанализируй», «Улучши».

Решение:

Заменяйте на конкретные действия: «Сравни с базой MITRE ATT&CK», «Классифицируй по CVSS», «Сгенерируй пошаговый план».

3. Ограничения: Чего AI делать не должен?

Без ограничений AI может предлагать нереалистичные решения или нарушать политики безопасности.

Примеры:

Технические ограничения: «Не предлагать решения, требующие обновления программного обеспечения: наша система работает на Windows Server 2012».

Бюджетные ограничения: «Максимальная стоимость внедрения – 500 000 рублей» или «Предлагай только Open Source. Не предлагай коммерческие инструменты».

Организационные оганичения: «Не использовать внешние сервисы для обработки данных. Все решения должны работать внутри нашего периметра».

Кейс из практики:

Промпт без ограничений: «Напиши политику паролей для сотрудников».

Результат выполнения промпта представлен на рисунке 1.


Рисунок 1. Результат выполнения промпта


Модель AI предложит 12 символов, возможно биометрию или многофакторную аутентификаци, но у вас, к примеру, есть промышленные системы поддерживающие только 8 символов.

Промпт с ограничениями: «Учитывай: 1) Максимальная длина пароля – 8 символов. 2) Нет поддержки двухфакторной аутентификации.»

Результат выполнения скорректированного промпта представлен на рисунке 2.


Рисунок 2. Скорректированный результат


4. Формат ответа: Как вы хотите получить результат (в какой форме)?

Модель AI может выдать ответ в виде эссе, таблицы или пошагового руководства. Ваш выбор формата сэкономит часы на обработке данных.

Примеры:

Для анализа логов: «Ответ предоставь в виде таблицы с колонками: Время события\IP-источник\Уровень угрозы (низкий/средний/высокий) \Рекомендуемое действие».

Для аудита политик: «Создай чек-лист соответствия 152-ФЗ в формате: Требование\Наш статус (соответствует/не соответствует) \Комментарий».

Результат выполнения промпта представлен на рисунке 3


Рисунок 3. Результат выполнения запроса по созданию чек-листа


На рисунке 3 обратите внимание, что так как не было задано условие оставить колонку «наш статус» пустой, модель сама поставила везде статус «соответствует».

Для генерации отчётов: «Напиши executive summary на 1 страницу. Структура: Основные угрозы за квартал. Топ-3 инцидента. Рекомендации для руководства».

Вы можете использовать шаблоны, которые уже работают в вашей компании. Если вы привыкли к определённому формату отчётов – просто скопируйте его структуру в промпт.

1.3. Где промпт-инжиниринг применяется в ИБ

Промпт-инжиниринг, активно используется в информационной безопасности для повышения эффективности работы с искусственным интеллектом и решения сложных задач. Вот основные области применения промпт-инжиниринга в ИБ:

1. Обнаружение уязвимостей и анализ кода

Промпт-инженеры создают запросы, которые помогают AI анализировать исходный код программного обеспечения, выявлять потенциальные уязвимости и предлагать способы их устранения.

Например, AI может быть настроен на поиск SQL-инъекций, XSS-атак или других распространенных угроз в коде.

Использование промптов позволяет автоматизировать процесс анализа больших объемов кода, что значительно ускоряет работу специалистов по ИБ.

2. Противодействие атакам на основе AI

Промпт-инжиниринг используется для защиты от атак, таких как prompt injection (внедрение вредоносных запросов). Это достигается путем разработки безопасных и устойчивых к манипуляциям промптов, которые минимизируют риск неправильной интерпретации данных моделью AI.

Например, специалисты могут создавать защитные механизмы, которые фильтруют или проверяют вводимые данные перед их обработкой AI.

3. Реагирование на инциденты и анализ угроз

С помощью промпт-инжиниринга можно настраивать AI для анализа данных о кибератаках в реальном времени: обработка логов, выявление аномалий и предоставление рекомендаций по реагированию на инциденты.

Промпты могут быть разработаны для генерации отчетов о текущих угрозах, что помогает специалистам по ИБ быстрее принимать решения.

4. Автоматизация тестирования безопасности

Промпт-инженеры создают запросы для автоматизации процессов тестирования, таких как penetration testing (тестирование на проникновение). Это позволяет моделям AI имитировать действия злоумышленников и выявлять слабые места в системах безопасности.

Например, AI может быть настроен на генерацию сценариев атак, которые затем проверяют на защищенность системы.

5. Обучение и повышение осведомленности

Промпт-инжиниринг используется для создания обучающих материалов и симуляций, которые помогают сотрудникам компаний лучше понимать угрозы информационной безопасности. Например, AI может генерировать сценарии фишинговых атак для тренировки персонала, сценарии командно-штабных учений.

Это также может включать разработку интерактивных инструментов, которые объясняют сложные концепции информационной безопасности доступным языком.

6. Улучшение мониторинга и управления данными

Промпты помогают AI-системам эффективно обрабатывать большие объемы данных, такие как сетевые логи или данные о трафике, для выявления подозрительных действий. Это особенно важно для предотвращения атак, таких как DDoS12 или несанкционированный доступ.

Промпт-инженеры разрабатывают запросы, которые позволяют моделям AI выделять ключевые данные и предоставлять аналитические выводы.

7. Интеграция с инструментами безопасности

Промпт-инжиниринг используется для настройки взаимодействия AI с существующими инструментами безопасности, установку и настройку программ и средств защиты информации.


8. Киберразведка и OSINT13

Создание запросов для сбора информации из открытых источников, таких как социальные сети, форумы и DarkNet14, в том числе таких как индикаторы компрометации (IOC), способы атак, используемые эксплойты и уязвимости.

9. Разработка политик безопасности

Промпт-инжиниринг может быть использован для автоматического создания и оптимизации политик безопасности (документов), а также для обучения персонала работе с этими документами

Это лишь основные примеры применения промпт-инжиниринга в ИБ. На самом деле спектр его применения достаточно широк, в том числе и возможность использования в смежных с ИБ направлениях деятельности: работа с персоналом, решение управленческих вопросов, подготовка маркетинговых материалов (по вопросам ИБ).

1.4. Риски промпт-инжиниринга

Промпт-инжиниринг – мощный инструмент, но, как и любой инструмент, он требует осторожности. Если не учитывать риски, AI может не только не помочь, но и создать новые проблемы. Разберём три ключевых риска и способы их минимизации.

1. Галлюцинации. Когда AI «придумывает» факты.

AI не всегда различает правду и вымысел. Он может сгенерировать убедительный, но ложный ответ.

Пример:

Промпт: «Перечисли уязвимости в OpenVPN, которые использовались в атаках на корпоративные сети за последний год. Укажи CVE, методы эксплуатации и рекомендации по патчингу».

Результат: AI может указать несуществующие CVE или приписать уязвимости к неправильным версиям программного обеспечения, или вообще выдуманные уязвимости в виду ограничениченности периода обучения (обычно модели имеют «знания» приблезительно на год – два отстающие от актуальных).

Как избежать?

Уточняйте источники: «Указывай только подтверждённые CVE с 2020 года».

Проверяйте ответы: сравнивайте с официальными базами.

Используйте перекрёстную проверку: задайте тот же вопрос другой нейросети. В ряде случаев, если сервис большой языковой модели позволяет, можете использовать поиск по ресурсам сети Интернтет.

Добавляйте ограничения: «Не используй данные старше 2022 года» или «Учитывай только уязвимости с публичными эксплойтами».


2. Утечки данных. Когда AI становится угрозой безопасности

Публичные AI-сервисы, такие как ChatGPT, сохраняют ваши запросы. Если вы загрузите конфиденциальные данные, они могут попасть в руки злоумышленников.

Пример:

Промпт: «Проанализируй этот лог: [вставка реальных данных с IP-адресами и именами пользователей]».

Риск: данные могут быть использованы для тренировки модели или утечь в открытый доступ или DarkNet.

Как избежать?

Используйте анонимизированные данные: заменяйте реальные IP на вымышленные. Удаляйте имена пользователей и другую персональную (критичную) информацию.

Выбирайте локальные модели, которые можно установить внутри контролируемой зоны для работы с конфиденциальными данными. Как развернуть локальную модель мы рассмотрим в третьей части данной книги.

3. Переоценка возможностей. Когда AI не справляется

AI – не эксперт. Он не понимает контекста вашей компании и не может принимать стратегические решения.

Пример:

Промпт: «Предложи план защиты от APT-атак».

Результат: AI выдаст общие рекомендации (например, «установите средства обнаружения/предотвращения вторжений»), но не учтёт вашу инфраструктуру, бюджет или текущие угрозы.

Как избежать?

Делите задачи на части: вместо промпта «Предложи план защиты» используйте:

Промпт 1: «Перечисли 5 самых частых векторов атак на FinTech-компании в 2024 году»

Промпт 2: «Предложи инструменты для защиты от этих векторов».

Уточняйте контекст: «Учитывай: 1) Наша инфраструктура включает облачные сервисы и локальные серверы. 2) Бюджет на новые решения – 10 000 000 рублей».

Используйте AI как помощника (ассистента), а не замену – AI может предложить идеи, но окончательное решение должно оставаться за вами.


1.5. Инструменты и сервисы

AI – это не один универсальный инструмент, а целый набор решений, каждое из которых подходит для определённых задач. Если вы выберете неподходящую модель, результат будет либо неточным, либо небезопасным. В этом параграфе мы разберём, как подобрать AI-инструмент под ваши задачи в области информационной безопасности.

АI инструменты с сугубо практической точки зрения можно разделить на два вида: модели и интерфейсы (обеспечивающие взаимодействие пользователя с моделями). Достаточно часто, модели и интерфейсы объединены в сервисы предоставляющие как саму модель, так и интерфейс взаимоедействия. Например, всем известный ChatGPT представляет собой сервис, который позволяет пользователю взаимодействовать с несколькими большими языковыми моделями: GPT-4o, GPT-4 Turbo, GPT-4o1-mini и т. п.

С точки зрения практического применения в ИБ нас больше интересуют, как правило, параметры самой большой языковой модели. Сервисы, обычо размещаемые в сети Интернет, как правило, предоставляют схожие наборы функций, поэтому останавливаться на их оценке, считаю, смысла нет.

Также, следует упомянут, что существуюет огромное множество различных типов и видов моделей искусственного интллекта, однако в практической ИБ нас больше всего интересуют большие языковые модели и совсем немного диффузионны модели (для генерации изображений).

Современные языковые модели используются для генерации текста и имеют в своей основе архитектуру «Transformer». Перед тем, как модель вводится в эксплутацию она проходит общее обучение (Pre-training), поэтому большинство современных моделей принято называть «Generative Pre-trained Transformer» – генеративные предварительно обученные трансформеры.

Понятие GPT (Generative Pre-trained Transformer) и понятие Большая Языковая Модель (LLM, Large Language Model) тесно связаны, но они не являются синонимами. LLM – это широкая категория моделей, к которой относится как GPT, так и языковые модели, построенные на другой архитектуре.

Таким образом большая языковая модель (LLM) – это общий термин, описывающий любую нейронную сеть, которая:

На страницу:
1 из 3