Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web
虚假信息是否更开放?一项关于robots.txt门禁的网络研究
AI总结 研究发现可信网站比虚假信息网站更频繁地禁止AI爬虫,且这种差异随时间扩大,可能影响LLM训练数据和网络透明度。
Comments 10 pages, 11 figures
Journal ref In Proceedings of the ACM Web Conference 2026 (WWW 26)