Web scraping (web crawling), online veriye erişim ve düzenli depolama yapma konusunda çok büyük potansiyele sahip bir alan. Özellikle veri bilimi ile ilgilenen kişiler için altın bilezik değerinde olduğunu düşündüğüm web scraping için scrapy kullanımına dair de sitede çeşitli örnek uygulamalar paylaşmıştım.
Online verileri kategorik ve anlamlı bir şekilde erişerek depolamak, bir çok alanda fayda sağlayabilmektedir. Ancak web scraping konusu da kendi içerisinde alt alanlara ayrılmakta olduğu için bu alanda çalışmaya başlamayı düşünen kişiler için web scraping ile neler yapılabileceği ve örnek gelir sağlamaya yönelik bazı örnek projelerin neler olabileceğine dair bir yazı paylaşmak istedim.
- Scrapy ile sosyal medya mecralarını ya da reddit gibi platformlarda subreddit'leri tarayabilir ve gerçek zamanlı devasa veriler elde edebilirsiniz. Özellikle konu ve gündem odaklı taramalar yaparak sektör bazlı raporlar üretebilir ve bu alanda rafine veri talep eden müşterilere hizmet sağlayabilirsiniz.
- Müşteriler için fiyat ya da yorum araştırma projesi üretebilir ve verilerinizi de bir internet sitesi ya da uygulama üzerinden erişime açarak gelir sağlayabilirsiniz
- Finansal verileri birçok farklı sektör için internetten toplayabilir ve python gibi programlama dilleri ile analiz edebilirsiniz. Bu sayede finansal kararlarınızı kendi ölçümlerinizin ve sonuçlarınızın ışığında verebilirsiniz. Derlediğiniz finansal verileri bile paylaşmanız ciddi bir potansiyel anlamına gelmektedir.
- Üreticiler için de müşteri taleplerini, çok satan ürünleri, trendleri ve tüketici yorumlarını kendi ürünlerine özel bir şekilde kendilerine düzenli olarak raporlayabilirsiniz. Özellikle sanal marketler bu alanda devasa bir veri kaynağı sunuyor.
- Portalları tarayarak tek bir kanalda birleştirebilirsiniz. Örneğin satılık araçlar, iş ilanları ya da ihale verilerini tek bir yerde toplayarak paylaşabileceğiniz kendi platforumunuz için veri sağlayabilirsiniz.
- Web scraping ile SEO araçları geliştirebilir, kendiniz ya da müşterileriniz için arama motorlarında ölçüm araçları hazırlayabilirsiniz
- Spor kulüpleri için farklı spor dallarında araştırmalar yapabilir, istatistikleri ya da spor severlerin görüşlerini analiz edebilirsiniz
Editör editi: sitedeki bazı diğer benzer yazılar için;
bkz: Web Scraping Nedir?
bkz: Scrapy Nedir ve Nasıl Kullanılır?
bkz: Permaweb Nedir?
bkz: WhatsApp Web Telefon Bağlı Değil Hatası
bkz: Windows 10'da Başlat Menüsüne Web Sitesi Kısayolu Eklemek
bkz: Mcafee Webadvisor Chrome'dan nasıl kaldırılır?