Crawleando a web com Scrapy

Olá jovens Padawans, eu sou o Zilla e venho lhes apresentar o Scrapy, um framework em Python para criação de crawlers para páginas web, mais conhecidos como Spiders.

Introdução ao Scrapy

Para os estudantes da academia Jedi que ainda não sabem o que é um crawler, aqui vai uma breve explicação: Um crawler, também conhecido como Spider ou Bot, é um software que realiza varreduras em websites com o objetivo de coletar informações relevantes. Eles são capazes de capturar qualquer informação escrita no website.

Pense num e-commerce, por exemplo, um crawler poderia capturar informações sobre um produto como, nome e valor. Ele também seria capaz de seguir os links da página e ir navegando site adentro, capturando ainda mais informações.

Continue reading Crawleando a web com Scrapy

Desenvolvedor .NET, quase gamer, adorador do Cyberpunk e fã de Backstreet Boys