Python dili ve Scrapy framework'ü ile bir web crawler yazdığınızda taradığınız sonuçları terminalde görüntülemek yerine doğrudan json, csv, xml gibi formatlarda export edebildiğimizi paylaşmıştım, by yazıda da baı sayfalarda karşılaşabileceğiniz karakter sorunları için uygulamanız gereken basit bir çözüm paylaşacağım.
Örneğin json formatında export ettiğiniz bir scraping işlemi sonucunda \u0628\u0627 gibi okunduğunda anlamsız olan sözcükler görüyorsanız, bu hatanın çözümü encoding olarak utf-8 seçmenizdir. Bunun için de settings.py dosyasını açın ve dosyanın en sonuna aşağıdaki satırı ekleyin.
FEED_EXPORT_ENCODING = "utf-8"
Artık karakter dönüşümleri utf-8'e göre yapılacağı için tüm o anlamsız sözcükler ilgili karakterlere dönüştürülerek yazdırılacaktır.
Editör editi: sitedeki bazı diğer benzer başlıklar için;
bkz: Scrapy sonuçlarını export etmek (json, xml, csv)
bkz: Scrapy ile yeni bir proje açmak
bkz: Web Scraping Nedir?
bkz: Scrapy Nedir ve Nasıl Kullanılır?
bkz: Selenium nedir?
bkz: Splash browser nedir?