5.00 / 1 oy

Scrapy şablonları ve kullanım amaçları

Scrapy'de crawler geliştirirken farklı amaçlar ya da ölçekler için kkullanabileceğimiz 4 adet şablon (template) bulunmaktadır. Scrapy şablonlarını listelemek için aşağıdaki komut kullanılabilir:

scrapy genspider -l

scrapy templates

basic template: Scrapy'de internet siteleri için crawler geliştirmek için en basit ve hızlı şablondur.

crawl template: Scrapy'de internet sitelerini crawl edebilmek için daha detaylı araçlae sunan şablondur.

csvfeed template: online csv dosyalarını crawl etmek için geliştirilmiş şablondur.

xmlfeed template: online xml dosyalarını crawl etmek için geliştirilmiş şablondur.

 

Yeni bir crawler oluştururken herhangi bir parametre kullanılmaması durumunda en basic ve pratik şablon olan basic template ile bir spider eklenmiş olur.

bkz: Scrapy ile yeni bir proje açmak

Eğer daha detaylı bir spider geliştirmek için crawl template gibi bir şablon kullanılacaksa, spider eklerken şablon değiştirmek için -t parametresi kullanılır.

scrapy genspider -t crawl spider_adi spider_url

 

Editör editi: sitedeki bazı diğer benzer yazılar için;

bkz: Web Scraping ile Neler Yapılabilir? Örnek Scraping Projeleri

bkz: Scrapy'de user-agent değiştirmek

bkz: Scrapy crawling işleminde sonraki sayfaya geçmek

bkz: Scrapy ile response alma örneği (en basit yöntem)

bkz: Scrapy Projesi Github'a Nasıl Eklenir?

bkz: Scrapy'de loglama nasıl yapılır?

 

bora34

01.10.2021 07:35

Bu soru henüz yanıtlanmamış.

Bu soruya sadece kayıtlı kullanıcılar yanıt yazabilirler. Yanıt yazmak için lütfen giriş yapınız.

Reitix
Scrapy şablonları ve kullanım amaçları

İnternet sitemizdeki deneyiminizi iyileştirmek için çerezler kullanıyoruz. Bu siteye giriş yaparak çerez kullanımını kabul etmiş sayılıyorsunuz. Daha fazla bilgi.