Crawler ya da web scrapper'ların botlarından oluşan bu tip yüksek sayıdaki request'lere IIS tarafında nasıl limit koayabiliriz? Ama arama motorlarının botları için de bir engelleyici olmaması gerek bu sayı limitlemesinin de. Konu hakkında araştırma yapmış ve SEO için de etkilerini özetleyebilecek teknik üstatlarımızdan yardımlarını rica ediyıorum.