Scapy'de yazdığınız bir crawler'ın (bot) bir internet sitesinde eriştiği her bağlantıyı taraması, zaman zaman sunucu taraflı olarak engellemelere ya da hızdan kaynaklı olarak hatalara neden olabilir ve sayfa taramaları arasına kısa bir erteleme süresi (delay) eklemeniz, crawling işleminizin sağlığı için faydalı olabilir.
Scrapy'de her bir request'ten sonra erteleme (delay) eklemek için settings.py dosyası içerisine aşağıdaki satırı ekleyin.
DOWNLOAD_DELAY = 0.25
Not: Bazı sunucular, belirli aralıklarla gelen request'leri fark edebilecek kadar akıllı oldukları için isteklerinizi rastgeleleştiren RANDOMIZE_DOWNLOAD_DELAY özelliği de Scrapy'de istenirse aktive edilebilir.
Editör editi: sitedeki bazı diğer benzer başlıklar için;
bkz: Scrapy'de user-agent değiştirmek
bkz: Python ve Scrapy ile UTF-8 karakter hatalarını düzeltmek
bkz: Scrapy sonuçlarını export etmek (json, xml, csv)
bkz: Scrapy ile yeni bir proje açmak
bkz: Scrapy Nedir ve Nasıl Kullanılır?
bkz: Web Scraping Nedir?