Опубликовано: 03.10.2026 | Источник: SecurityLab (RSS)

Генеративная оптимизация в ВКР: как защитить LLM-ассистента от галлюцинаций и скрытой рекламы

Поддомен статьи: AI/ML (с сильным уклоном в ИБ и Data Engineering). Роль автора: ML/Data-инженер, специализирующийся на безопасности LLM-пайплайнов.

Введение: почему эта новость стоит отдельной главы диплома

26 марта 2026 года на SecurityLab вышла новость с говорящим заголовком: «Поздравляем, вы купили воздух». Речь о том, что техника генеративной оптимизации (Generative Engine Optimization, GEO) позволяет накручивать выдачу больших языковых моделей так, что ассистент бодро рекомендует товары и услуги, которых не существует. По сути, «умный помощник» превращается в рыночного зазывалу — и в этом есть прямой интерес для выпускника ИТ-специальности.

Почему? Потому что здесь пересекаются три востребованных направления: оценка достоверности LLM, защита от промпт-инъекций и построение проверяемых RAG-пайплайнов. Если вы хотите не просто «дописать диплом», а сделать работу, которую не стыдно показать на защите перед комиссией и потенциальным работодателем, — это готовый сюжет. Ниже — как разложить его по главам, какие метрики считать и где студенты обычно спотыкаются.

FAQ: вопросы, которые вам зададут на защите (или вы сами себе)

1. Хватит ли у меня данных для эксперимента по GEO?

Да. Не нужны гигабайты — нужен контролируемый сценарий. Возьмите открытый датасет товаров (например, Amazon Reviews) или сгенерируйте синтетический каталог из 200–300 позиций, где половина карточек «заражена» GEO-текстом. Этого достаточно для постановки эксперимента по метрике Faithfulness.

2. Какую модель брать — коммерческую или локальную?

Для воспроизводимости — локальную: Llama 3.1 8B Instruct, Mistral 7B или Qwen2.5. Коммерческие API (GPT-4o, Claude) уходят в «чёрный ящик» и растят стоимость повторных прогонов. Локальные модели позволяют честно описать методику — это плюс на защите.

3. Как считать эффективность защиты от GEO-манипуляций?

Минимум три метрики: Hallucination Rate (доля ответов с несуществующими сущностями), Faithfulness к извлечённому контексту (RAGAS) и Answer Relevancy. Плюс latency — потому что защита не должна превращать ассистента в черепаху. Все три показателя удобно свести в таблицу «до/после».

4. Это не слишком «сырая» тема для ВКР по ГОСТ?

Наоборот. ГОСТ 34.601-90 и ГОСТ 19.301-79 не мешают работе с LLM: вы описываете требования, проектируете архитектуру, проводите испытания. Только добавляйте новый раздел — оценку качества модели по ISO/IEC 25010 (функциональная корректность, безопасность, надёжность). Комиссия это любит.

Темы ВКР, которые «вырастают» из новости

Три варианта — от самого прикладного до исследовательского. Выбирайте по своим силам и наличию железа.

• Тема 1. Обнаружение генеративных промпт-инъекций в рекомендательных LLM-ассистентах
  Актуальность: статья прямо показывает, что манипулировать можно не только моделью, но и её «картиной мира».
  Цель: разработать модуль-детектор GEO-паттернов во входном контексте.
  Задачи: (1) систематизировать техники GEO; (2) собрать датасет заражённых карточек; (3) обучить/настроить классификатор; (4) оценить Precision/Recall на отложенной выборке.
  Структура: Гл.1 — анализ угроз LLM и OWASP LLM Top 10; Гл.2 — архитектура детектора (C4 + UML sequence); Гл.3 — эксперименты, метрики, внедрение guardrails.
• Тема 2. Метрики оценки достоверности RAG-ассистента в e-commerce
  Актуальность: «вы купили воздух» — это ровно про искажение выдачи.
  Цель: построить методику оценки ответов RAG-бота под атакой GEO.
  Задачи: (1) развернуть RAG на LangChain/LlamaIndex; (2) предложить набор тестовых сценариев; (3) замерить Hallucination Rate и Faithfulness; (4) оформить протокол испытаний по ГОСТ 19.301-79.
  Структура: Гл.1 — теория галлюцинаций; Гл.2 — реализация пайплайна; Гл.3 — сравнительная таблица «baseline vs защищённый».
• Тема 3. Guardrails-архитектура для корпоративного чат-бота: защита от GEO и prompt injection
  Актуальность: корпоративные ассистенты уже сейчас консультируют клиентов — цена ошибки в деньгах.
  Цель: спроектировать многоконтурную защиту (input/output filters + фактчекинг).
  Задачи: (1) обзор инструментов (NeMo Guardrails, Llama Guard, Guardrails AI); (2) проектирование контуров; (3) нагрузочное тестирование; (4) анализ TCO решения.
  Структура: Гл.1 — модели угроз (STRIDE для LLM); Гл.2 — реализация; Гл.3 — оценка эффективности и стоимости владения.

Как разложить материал статьи по главам

Глава 1. Аналитическая: где живёт «генеративная оптимизация»

Начните с определения GEO: это набор техник, при которых контент создаётся специально под парсинг и summarization языковой моделью. Ключевое отличие от классического SEO — вы оптимизируете не под алгоритм ранжирования, а под синтез ответа. Отсюда типовые приёмы: чанки фраз под цитирование, «якорные» фразы вроде «лучший выбор 2026 года», искусственные консенсусы («9 из 10 экспертов советуют…»).

Свяжите это с OWASP LLM Top 10 — пункты LLM01 (Prompt Injection) и LLM09 (Misinformation). Постройте диаграмму в UML: актор «GEO-атакующий» → внешний контент → RAG-индекс → LLM → пользователь. Это ваша схема потенциальных угроз.

Глава 2. Проектная: строим защиту

Базовый защитный контур — двухступенчатый. Первый фильтр проверяет входной контекст, извлечённый RAG-ретривером. Второй валидирует сгенерированный ответ на предмет упоминания сущностей, отсутствующих в источнике. Простой пример на Python:

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy
from datasets import Dataset

# 1. Проверка: все ли сущности в ответе есть в retrieved-контексте
def groundedness_score(answer: str, context: str, entities: list[str]) -> float:
    hits = sum(1 for e in entities if e.lower() in context.lower())
    mentioned = sum(1 for e in entities if e.lower() in answer.lower())
    # если в ответе больше сущностей, чем в контексте — тревога
    return hits / max(mentioned, 1)

# 2. Батч-прогон через RAGAS
dataset = Dataset.from_dict({
    "question": questions,
    "answer": answers,
    "contexts": retrieved_contexts,
    "ground_truth": references,
})
report = evaluate(dataset, metrics=[faithfulness, answer_relevancy])
print(report)

Архитектурно оформите это как C4 Container: user → API-gateway → orchestrator → {Retriever, Detector, Generator, Validator}. На защите спросят: «А что если детектор ошибётся?» — заранее опишите fail-closed поведение: ассистент возвращает «не удалось подтвердить» вместо уверенного вранья.

Глава 3. Экспериментальная: метрики и проверка

Соберите три группы тестов: чистый контекст, контекст с GEO-вставками и «смешанный». Прогоняйте каждую через baseline и защищённую версию, замеряйте:

Цифры в таблице условные — подставьте свои. Главное: защита всегда покупается за latency. Покажите компромисс честно, это признак зрелого инженера.

Диаграммы и артефакты, которые повышают оценку

Что реально добавляет баллы: UML Sequence для сценария атаки, C4 Context/Container для архитектуры, BPMN для процесса реагирования на инцидент, таблица трассировки требований (требование → компонент → тест). И — протокол испытаний по ГОСТ 19.301-79. Схемы описывайте в приложении, ссылайтесь на них в тексте: нормоконтроль такое пропускает без вопросов.

Чему вы научитесь, пока делаете работу

• Проектировать RAG-пайплайны с контролем groundedness, а не «по интуиции».
• Оценивать LLM количественно — Faithfulness, Hallucination Rate, Relevancy.
• Разворачивать локальные модели (Llama/Mistral) в Docker и гонять бенчмарки.
• Оформлять отчёт об исследовании по ГОСТ Р 7.32-2017 и ГОСТ 19.301-79.
• Считать TCO защитного контура — навык, который отличает senior-инженера от джуна.

Источник: Поздравляем, вы купили воздух. Как «генеративная оптимизация» заставляет ИИ рекламировать то, чего нет (опубликовано 2026-03-26)