概述
这项工作发表于 IEEE ISDFS 2026，研究因发现路径重叠、扫描模块、重试和并发工作线程而产生的重复 HTTP(S) 请求。去重和记忆化被放在请求分发的边界处。
该模型将确定性的规范化处理与一项策略相结合，由策略决定哪些请求特征可以认定等价。复用已存储的结果还需要进行有效性检查，包括上下文绑定、存活时间，以及针对请求方法和携带会话的请求的保护措施。仅凭 URL 看起来相似，并不足以保证复用安全。
论文描述了限制同一键并发分发的并发控制，通过考虑哈希碰撞的检查来校验已存储的结果，并推导出查找和存储操作的复杂度上界。这些保证取决于所规定的策略和原子性假设；在真实扫描器中实现该机制时，这些条件至关重要。
论文正式标题
Feature-Equivalence Deduplication and Memoization of HTTP(S) Requests for Web Scanners: Formal Model, Concurrency, and Complexity Bounds
要点
- 论文
- 2026
- 发表于
- IEEE International Symposium on Digital Forensics and Security (ISDFS 2026)
- 主题
- 请求去重 · 记忆化 · 并发 · HTTP 上下文