Публикация / 2026

Дедупликация и мемоизация HTTP(S)-запросов веб-сканеров по эквивалентности признаков: формальная модель, конкурентность и границы сложности

Формальная модель исключения повторных запросов сканера с учётом контекста запросов и параллельно работающих исполнителей.

Обзор

Опубликованная на IEEE ISDFS 2026 работа исследует повторные HTTP(S)-запросы, возникающие из-за пересекающихся путей обнаружения, модулей сканера, повторных попыток и параллельных исполнителей. Дедупликация и мемоизация расположены на границе отправки запросов.

Модель сочетает детерминированную канонизацию с политикой, определяющей, какие признаки запросов устанавливают эквивалентность. Повторное использование сохранённого результата также требует проверок актуальности: привязки к контексту, срока действия и ограничений для методов и запросов с данными сессии. Одного сходства URL недостаточно для безопасного повторного использования.

Статья описывает управление конкурентностью для ограничения одновременных отправок по одному ключу, проверяет сохранённые результаты с учётом коллизий и выводит границы сложности поиска и хранения. Гарантии зависят от заданных политик и предположений об атомарности; эти условия важны при реализации механизма в реальном сканере.

Официальное название публикации
Feature-Equivalence Deduplication and Memoization of HTTP(S) Requests for Web Scanners: Formal Model, Concurrency, and Complexity Bounds

Основные сведения

Публикация
2026
Опубликовано
IEEE International Symposium on Digital Forensics and Security (ISDFS 2026)
Темы
Дедупликация запросов · Мемоизация · Конкурентность · Контекст HTTP
Первоисточник

Связанные материалы

08Контакт

Решим следующую сложную задачу.

Расскажите, что вы разрабатываете, что стоит на кону и когда нужен результат. Обсудим, подходит ли задача, и определим объём, результаты и стоимость.