Scrapy

Scrapy (/ˈskreɪpaɪ/ SKRAY-peye) usa ka libre ug bukas nga web-crawling framework nga gisulat sa Python. Orihinal nga gidesinyo alang sa web scraping, mahimo usab kini gamiton aron makuha ang datos gamit ang mga API o isip usa ka pangkalahatan nga web crawler. Kini kasamtangan nga gipanag-iya ug gipanag-maintain sa Zyte (kaniadto Scrapinghub), usa ka kompanya nga nag-develop ug naghatag og serbisyo sa web scraping.

Ang arkitektura sa proyekto nga Scrapy gitukod palibot sa mga "spiders", nga mga independenteng crawler nga gitagaan og usa ka set sa mga instruksyon. Sa pagsunod sa espiritu sa ubang mga "don't repeat yourself" nga framework, sama sa Django, kini nagapadali sa paghimo ug pag-scale sa dagkong mga proyekto sa pag-crawl pinaagi sa pagtugot sa mga tig-develop sa pag-reuse sa ilang code.

Ang pipila ka nailhan nga mga kompanya ug produkto nga naggamit sa Scrapy mao ang Lyst, Parse.ly, Sayone Technologies, Sciences Po Medialab, ug Data.gov.uk’s World Government Data site.

Kasaysayan

Ang Scrapy natawo sa kompanya sa web-aggregation ug e-commerce nga Mydeco sa London, diin kini gidebelop ug gimaintain sa mga empleyado sa Mydeco ug Insophia (usa ka web-consulting company nga nakabase sa Montevideo, Uruguay). Ang unang pampublikong pagpagawas nahitabo kaniadtong Agosto 2008 ubos sa BSD license, nga adunay milestone 1.0 release kaniadtong Hunyo 2015. Sa 2011, ang Zyte (kaniadto Scrapinghub) nahimong opisyal nga tig-maintain.