Vamos a aprender a usar un poco el comando wget. Su uso basico es para bajar algo de internet, por ejemplo podríamos bajar un archivo así:
wget http://sitioweb.com/archivo.zip
con eso descargaríamos el archivo.zip, pero podemos usarlo también con muchísimos parámetros, vamos a tratar de ver todos los que tal vez tengan alguna utilidad para nosotros. Si hacemos:
wget -r http://sitioweb.com
Estaremos diciéndole que baje recursivamente todos los archivos del sitio web, esto bajara imágenes, archivos html, etc. Pero si lo usan asi seguro que el sitio les bloquea la ip, por estar enviando tantas peticiones seguidas y descargando todo, para evitar esto podríamos usar algo asi:
wget --random-wait --limit-rate=20k -r http://sitioweb.com
--random-wait significa que entre un archivo y otro espere un periodo de tiempo aleatorio, asi el sitio de donde estamos bajando los archivos no se dara cuenta de nada
--limit-rate=20k indica que estamos limitando las descargas de los archivos a una transferencia máxima de 20k, esto también es para evitar que nos baneen la IP mientras estamos bajando.
O podrían hacer asi:
wget --wait=20 --limit-rate=20K -r -p -U Mozilla http://sitioweb.com
--wait=20 hace una pausa de 20 entre archivo y archivo, aunque considero que seria mejor usar --random-wait
-p indica que descargue los archivos para ser visualizados correctamente como html, es decir veras las paginas en tu disco tal cual como si estuvieras viéndolas en internet
-U mozilla hará creer a la pagina que estamos usando algún navegador de la familia de Mozilla para hacer las descargas
Otra manera de usarlo:
wget -r -l 4 http://sitioweb.com
-r ya saben que es para que baje recursivamente, pero si usamos también -l # solo bajara esa cantidad de niveles, en el ejemplo baja solo 4 niveles sobre la pagina que le hemos dado.
Y una mas, a pedido de mi amigo Surate...descargar solo un tipo de archivo de un sitio web o pagina, por ejemplo descargar todas las imágenes de un sitio, o descargar todos los videos, etc etc, se hace asi:
wget -r -A=.jpg,.png http://sitioweb.com
Con ese comando estaríamos bajando todos los archivos .jpg y .png de el sitio. Si quisiéramos bajar todos los mp3 de un sitio usaríamos -A=.mp3
Seguramente se preguntan si hay una interface grafica para wget....pues obvio! Se llama Gwget y pueden encontrarla en los repositorios, no voy a explicar como funciona porque es muy intuitiva.