Foro - Perl en Español

He construido un simulador de cómo se podría hacer:
Se recorren las URL, y por cada una se prueba con todos los proxies, cada vez uno distinto. Y se repite hasta que ya no quedan más URL que probar.

Perdón por no haber contestado antes. El fin de semana me impidió jugar con el simulador que creaste, explorer.

Muchas gracias por molestarte en crearlo. Tiene buena pinta y creo que realiza lo que necesito.

Tengo un problema.

Por lo que veo, para ejecutarlo no necesito cambiar nada.

He instalado los módulos common::sense y autodie pero obtengo un error al intentar ejecutarlo:



Me gustaría verlo funcionar, pero el error me lo impide.

Voy a intentar adaptar todo a mi script, a ver cómo queda.

Ese each() solo funciona con Perl a partir de la versión 5.12, así que si te sale un error, es que tienes un Perl viejo.

Te cuento lo que hace: cada vez que se ejecuta, extrae el índice de un elemento de un array y el elemento correspondiente del array.

Puedes sustituir el while() con un bucle for() que recorra los índices de los elementos del array. Y una línea más que obtiene el elemento correspondiente a ese índice:

WOW el simulador funciona tal y como quiero.

Gran trabajo.

Ahora viene lo complicado para mi: adaptarlo al script.

Voy a meterle caña a ver cómo me queda.

No cierro el tema, ya que seguro me saldrán problemas al intentar montarlo.

Genial solución, explorer.
Funcionando a la perfección en mi script.

Muy agradecido, explorer.
También agradecer a pvaldes, el tiempo invertido en ayudarme.

Por mi parte, tema cerrado.

El siguiente paso es hacer las peticiones de forma simultánea, como lo permite la distribución ParallelUserAgent. Lo malo es que la documentación relativa al uso del proxy es prácticamente nula, pero se puede sacar en la sección Proxy attributes de LWP::UserAgent y leyendo el código de LWP::Parallel::UserAgent.

Quizás sea más simple usar Parallel::ForkManager. Viene con un ejemplo para bajar una lista de enlaces, de forma paralela.

O usar HTTP::Async, que parece aún más fácil.

Sí, es una buena solución para agilizar el programa utilizar por ejemplo, Parallel::ForkManager.

Otra idea para agilizarlo, sería "desactivar" los proxies que han dado una respuesta diferente a 200, en su primera vuelta, y seguir filtrándolos en su segunda, tercera... hasta quedarme sin ninguno, en ese momento volver a activarlos todos.

Me explico:

Imaginemos que en su primera vuelta, se han obtenido tres respuestas 500.
Esta sería la primera vuelta:


La segunda vuelta (quitamos todos los que dieron 500)


Tercera vuelta (quitamos todos los que dieron 500)


Cuarta vuelta (quitamos todos los que dieron 500)


Quinta vuelta (reactivar todos)


¿Se te ocurre cómo poder realizarlo, explorer?

La solución no es sencilla, pero esta es una manera:

La idea es copiar la lista de proxies a un array temporal, del que sacaremos el siguiente proxy a usar. Si falla, lo sacamos del array y usamos otro. Si el array queda vacío, reiniciamos el array con la lista de proxies original.

Un detalle: aunque en este código se está usando la instrucción delete() sobre elementos de array, de forma estricta no deberíamos usarlos, porque es posible que deje de funcionar con versiones más modernas de Perl (al menos, hasta la versión 5.12 de Perl, funciona). Lo que hay que usar en su lugar es la instrucción splice().

Si en el código anterior, sustituimos los delete() por splice(), por ejemplo

delete $proxy[$p];

por

splice @proxy, $p, 1;

entonces el programa seguirá funcionando, pero la bajada de las URL no será de forma consecutiva, sino alterna, debido a que estamos modificando la estructura interna de los array, y los contadores internos de los for() y each() no son reajustados con esos cambios, hasta que los bucles son reiniciados de nuevo. Si se quiere, entonces, que las URL sean bajadas de forma consecutiva, habría que ajustar más líneas con más casos, para no incrementar $i y $p en caso de haberse ejecutado un splice().

Buenísimo, superocurrente tu solución .
Exactamente lo que quería.

De momento, en mis pruebas, no estoy teniendo problemas con delete(). Probaré con splice(), para ver las diferencias.

Tengo un nuevo problema.

Estoy intentando incorporar Parallel::ForkManager al emulador que creaste.

Le estoy echando bastante imaginación para que funcione correctamente. Pero me estoy perdiendo entre matemáticas, variables, procesos, subprocesos, hijos...

Ya me sale humo de las orejas, tengo el cerebro hecho un nudo, y por más vueltas que le doy, no consigo que el programa termine de funcionar.

Esto es lo máximo que he conseguido acercarme:




No sé si se podrá aprovechar algo de lo que realicé, o hay alguna otra forma más sencilla de que funcione.

He añadido un exit() en la línea 87, para que acabe el programa una vez finalizadas todas las descargas.
Aunque a veces, el programa se bloquea.