Descargar una página web en nuestro ordenador no es nada nuevo, algunos usuarios suelen optar por descargar una determinada web para acceder a ella cuando no están conectados a internet, o si su conexión les impide navegar con rapidez.
Aunque en estos tiempos de incertidumbre en la red, donde cualquier página web que comparta enlaces a series, películas o juegos puede ser cerrada injustamente, descargar una web puede convertirse en un acto de preservación.
Almacenar esas famosas web de enlaces en nuestro ordenador, implica poder acceder a ellas aún en el caso de que dejen de existir.
Uno de los mejores programas para descargar una página web, es HTTrack Website Copier, que no solo se encarga de almacenar la web en tu disco duro, sino que mantiene la estructura de enlaces internos, imágenes, javascript.., para así poder navegar por ella con la misma comodidad.
Hay que tener en cuenta que HTTrack puede devolver un error al intentar descargar una página web, y esto ocurre porque algunas webs poseen una serie de reglas que lo impiden.
Pero si no queremos respetar dichas reglas, al menos debemos intentar causar el menor impacto posible, y esto implica descargarla poco a poco para no agotar la banda ancha del servidor.
Para ello, en la ventana actual, pulsamos en "Definir las opciones":
Ahora solo queda pulsar en "Siguiente" y después en "Finalizar" para que comience a descargar archivos.
Posiblemente tardara unas cuantas horas, o incluso días, pero siempre podemos detenerlo, y volverlo a retomar más tarde justo donde se quedó.
Los vídeos, series y películas en streaming se suelen cargar de forma muy lenta en casi todos los servidores de este tipo de alojamiento. En ocasiones es necesario esperar más de 60 minutos para poder ver el video sin miedo a que aparezca el buffer.
Megavideo por ejemplo es de los más utilizados para ver series y películas online (a pesar de la odiada restricción), por eso sus servidores suelen estar bastante sobrecargados y es raro el día que pueda reproducirse de forma fluida; y la situación tampoco es que sea mejor para los usuarios Premium.
Lo único que se me ha ocurrido para solucionar el problema, o al menos evitar esperas, es cargar el mismo vídeo en varias ventanas a diferentes tiempos, teniendo en cuenta la velocidad de carga y la duración.
Normalmente solo tendrás que esperar unos minutos a que se cargue la primera parte hasta los primeros 5 minutos, y mientras visualizas esos 5 minutos ya se habrá cargado la 2º parte, y mientras la ves ya estará la 3º, y lo mismo con la 4º.
Llevo tiempo haciéndolo y suele funcionar bastante bien, me imagino que no soy el único que recurre a esta sencilla estrategia, pero espero que les sea útil a los que no la conocían.
En uno de los últimos episodios de Breaking Bad (serie que recomiendo), creo que en el 3x06, se mencionaba y recitaba un cálido poema que llamó especialmente mi atención.
Fue escrito hace más de un siglo, por Walt Whitman, y se titula "El astrónomo".
Cuando escuché al sabio astrónomo;
cuando las pruebas, las figuras, se alinearon frente a mi;
cuando me mostraron los mapas celestes y las
tablas para sumar; dividir y medir;
cuando, sentado, escuché al astrónomo
hablar con gran éxito en el salón de conferencias,
de repente, sin motivo, me sentí cansado y enfermo;
hasta que me levanté y me deslicé hacia la salida, para caminar solo,
en el mismo aire húmedo de la noche,
y de cuando en cuando,
mirar en silencio perfecto a las estrellas.
El poema evoca una idea muy sencilla y acertada. "Lo que transmite el conocimiento teórico no es comparable con la experiencia y la imaginación".
Lo sé, es un título confuso, y quizá en el futuro existan artículos que expliquen cómo hacer un robot electromecánico con IA (inteligencia artificial), rasgos humanos y todo eso, pero de momento habrá que conformarse.
A lo que me refiero es a un crawler, un bot, esos que recorren páginas web en busca de información, como el famoso Google bot, que indexa nuestros blogs y páginas web, u otros programados para hacer spam en blogs o trampas en los mmorpg de navegador.
Aunque carecen de IA, puede ser divertido programarlos, sobre todo por lo útil que puede llegar a ser el resultado.
Bueno, sin más dilación voy a mostrar un ejemplo muy básico de como hacer un robot utilizando una librería llamada cURL, incluida en PHP desde la versión 4, si no recuerdo mal.
<?php
function getSource ($url, $agente) {
$curl = curl_init(); //Nueva sesion CURL
curl_setopt ($curl, CURLOPT_URL, $url); //Direccion de destino
curl_setopt ($curl, CURLOPT_RETURNTRANSFER, 1); //Resultado en una cadena de texto
curl_setopt ($curl, CURLOPT_USERAGENT, $agente); //Agente de usuario
curl_setopt ($curl, CURLOPT_HEADER, 0); //Ocultar encabezado
$source = curl_exec ($curl); //Ejecutar sesion CURL
$code = curl_getinfo ($curl, CURLINFO_HTTP_CODE); //Obtener el código de error http
curl_close ($curl); //Cerrar sesion CURL
return ($code == 200) ? $source : 0; //Un error 200 indica que la solicitud ha tenido exito
}
$source = getSource ('http://www.dominio.com/', 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)');
?>
La función recibe una dirección y un agente de usuario, y devuelve el código fuente de esa dirección, o un cero si ha habido algún error.
Y básicamente esto es todo, una vez obtenido el código fuente tan solo necesitas imaginación y dominio de expresiones regulares. Puedes usar recursividad para hacer una araña que recorra la red almacenando información, descargarte una página web completa, y casi cualquier cosa que se te ocurra.
En los próximos artículos profundizaré un poco más en este tema, como extraer una imagen y guardarla en tu servidor, crear una araña recursiva, etc.