Ir al contenido principal

Scrapy - Python - Slides

Scrappy Doo



Despues de ver este capitulo de mejorando.la  , senti curiosidad por Scrapy , un framework para scraping y crawling , algo asi como "raspar y arrastrarse" en sitios web y obtener informacion incluidas en las paginas que componen el sitio.



Hace poco tiempo, necesite este framework, porque me encontraba buscando presentaciones sobre Oracle Weblogic 11g y  el sitio, que tenia una presentacion bueno, no me permitia bajarla.  Asi que se me prendio la lamparita y comence a buscar , en el codigo HTML informacion que me sirviera para obtener las SLIDES.

Requerimientos:

-Scrapy
-Python
-Distrubucion de linux que te guste. (Use Linux Mint)


Codigo Fuente: spiders/slideshareWeb/slideshareWeb/spiders/slideshareWeb_spider.py

Para Arrancar el codigo se usa:
scrapy crawl slideshareWeb (Enter)
Estando en el directorio de la applicacion que contruyeron; pero mas claro este en el Tutorial que adjunte como link externo.
PD: Debo armar a futuro un Tutorial, para instalar todos los Requerimientos de Scrapy ;-)
Por ahora una "receta rapida"
Install PIP Python
scrapy.org
Scrapy Tutorial
Scraping Web Pages

Comentarios

Entradas más populares de este blog

Como recupero un Pen Drive que use para instalar OS X?

How do I format a usb drive on a PC that was formatted on a Mac? (source) Assuming Windows 7 and that the disk is not showing up under My Computer at all: Connect your disk. Run cmd as an Administrator. Run diskpart.exe . Use ? if you need help in this program. list disk Find the disk that corresponds to your USB disk. select disk n where n is the number of the disk. Confirm that you're using the right disk with detail disk . clean (Warning: This command erases the disk's partition information. Any data on the disk will no longer be accessible.) create partition primary . No size is needed if you want to use the whole disk active . Optional. Marks the partition as potentially bootable. format fs=fat32 quick . You can choose NTFS or exFAT instead of FAT32 if you want. assign . Assigns the disk a drive letter. exit to quit. LEER BIEN los pasos y comprender que lo hace BAJO su Responsabilidad. Sino esta seguro, NO

San Justo ---> Puerto Madero (Sur)

De lunes a viernes esta es la distancia que recorro para ir a trabajar! Ver mapa más grande A veces, en auto otras en colectivo, cuando no manejo duermo como piedra en el 126, y hago este tranquilo y largo recorrido: Por PERIBEBUY, LEÓN GALLO, AGUSTÍN DE VEDIA, AMBROSETTI, AVENIDA INTENDENTE CROVARA, cruce AVENIDA GENERAL PAZ, AVENIDA EVA PERON, GUAMINI, AVENIDA CORONEL CARDENAS, AVENIDA DE LOS CORRALES, LISANDRO DE LA TORRE , AVENIDA DIRECTORIO, AVENIDA SAN JUAN, PERÚ, AVENIDA PRESIDENTE JULIO ARGENTINO ROCA, HIPOLITO YRIGOYEN, AVENIDA LA RABIDA , AVENIDA LEANDRO NICEFORO ALEM , AVENIDA CORRIENTES, AVENIDA EDUARDO MADERO, SAN MARTÍN, DOCTOR GUSTAVO MARTÍNEZ ZUVIRIA, AVENIDA DOCTOR JOSÉ MARÍA RAMOS MEJÍA, AVENIDA ANTÁRTIDA ARGENTINA, AVENIDA DE LOS INMIGRANTES, AVENIDA PRESIDENTE RAMÓN S. CASTILLO hasta HOSPITAL FERROVIARIO. Me bajo en Plaza de Mayo para tomar otro colectivo hasta el Cliente. (Aca no puedo dormir, es corto el viaje ;-)