Scrapy

Scrapy
توسعه‌دهنده(ها)	Zyte (formerly Scrapinghub)
انتشار اولیه	۲۶ ژوئن ۲۰۰۸
انتشار پایدار	2.4.1 / ۱۷ نوامبر ۲۰۲۰؛ ۳ سال پیش
مخزن	github.com/scrapy/scrapy ;
نوشته‌شده با	Python
سیستم‌عامل	Windows, macOS, Linux
در دسترس به	English
نوع	Web crawler
مجوز	BSD License
وبگاه	scrapy.org

اسکرپای[ویرایش]

Scrapy (‎/ˈskreɪpaɪ/‎ SKRAY-peye) چارچوب رایگان و منبع باز خزنده-وب است٫ نوشته شده در پایتون. در اصل برای خزیدن وب (crawl) طراحی شده‌است، اما می‌توان برای استخراج داده‌ها با استفاده از API یا به عنوان یک خزنده وب همه-منظوره نیز مورد استفاده قرار گیرد.^[۲] در حال حاضر توسط Zyte (formerly Scrapinghub) ٫شرکت توسعه و خدمات خزش وب، نگهداری می‌شود.

معماری پروژه Scrapy براساس «عنکبوت» (spiders) ساخته شده‌است٫ این عنکبوت‌ها خزنده‌هایی مستقل هستند و براساس یک سری دستورالعمل که به آن‌ها داده می‌شود به خزش وب می‌پردازند. اسکرپای با پیروی از دیگر چارچوب‌هایی که بر اساس اصل خود را تکرار نکنید (DRY)، مانند جنگو٫^[۳] توسعه یافته‌است. این پروژه مراحل ساخت و توسعه پروژه‌های بزرگ خزنده را با اجازه دادن به توسعه‌دهندگان برای استفاده مجدد از کد خود٫ آسان می‌کند. Scrapy پوسته‌ای تعاملی (shell) برای خزیدن وب فراهم می‌کند، که به توسعه دهندگان این اجازه را می‌دهد تا حدس و گمان‌های خود نسبت به کارکرد وبسایت‌ها را قبل از توسعه خزنده آزمایش کنند و سریعاً کدهای خود را بدون استفاده از عنکبوت‌ها (spiders) مشکل‌زدایی (Debug) کنند. این shell برای تست css expressions و XPath طراحی شده و توسعه‌دهنده می‌تواند به نحوه کارکرد وبسایت و راه استخراج دیتا پی‌ببرد.

بعضی از شرکت‌های بزرگ و شناخته شده که از این چارچوب استفاده می‌کنند عبارت‌اند از[ویرایش]

Lyst, Parse.ly, Sayone Technologies, Sciences Po Medialab, Data.gov.uk[ویرایش]

تاریخ[ویرایش]

اسکراپی در شرکتی فعال در زمینه وب و تجارت الکترونیک مستقر در لندن، Mydeco متولد شد و در آنجا توسط کارمندان Mydeco و Insophia (یک شرکت مشاوره وب مستقر در مونته ویدئو، اروگوئه) توسعه و نگهداری شد. اولین انتشار عمومی در اوت ۲۰۰۸ تحت مجوز BSD بود، و نسخه برجسته ۱٫۰ در ژوئن ۲۰۱۵ انتشار یافت.^[۴] در سال ۲۰۱۱، Zyte (Scrapinghub سابق) نگهدارنده رسمی جدید این پروژه شد.^[۵]