Foro - Perl en Español

He construido un simulador de cómo se podría hacer:
Se recorren las URL, y por cada una se prueba con todos los proxies, cada vez uno distinto. Y se repite hasta que ya no quedan más URL que probar.

Ese each() solo funciona con Perl a partir de la versión 5.12, así que si te sale un error, es que tienes un Perl viejo.

Te cuento lo que hace: cada vez que se ejecuta, extrae el índice de un elemento de un array y el elemento correspondiente del array.

Puedes sustituir el while() con un bucle for() que recorra los índices de los elementos del array. Y una línea más que obtiene el elemento correspondiente a ese índice:

El siguiente paso es hacer las peticiones de forma simultánea, como lo permite la distribución ParallelUserAgent. Lo malo es que la documentación relativa al uso del proxy es prácticamente nula, pero se puede sacar en la sección Proxy attributes de LWP::UserAgent y leyendo el código de LWP::Parallel::UserAgent.

Quizás sea más simple usar Parallel::ForkManager. Viene con un ejemplo para bajar una lista de enlaces, de forma paralela.

O usar HTTP::Async, que parece aún más fácil.

La solución no es sencilla, pero esta es una manera:

La idea es copiar la lista de proxies a un array temporal, del que sacaremos el siguiente proxy a usar. Si falla, lo sacamos del array y usamos otro. Si el array queda vacío, reiniciamos el array con la lista de proxies original.

Un detalle: aunque en este código se está usando la instrucción delete() sobre elementos de array, de forma estricta no deberíamos usarlos, porque es posible que deje de funcionar con versiones más modernas de Perl (al menos, hasta la versión 5.12 de Perl, funciona). Lo que hay que usar en su lugar es la instrucción splice().

Si en el código anterior, sustituimos los delete() por splice(), por ejemplo

delete $proxy[$p];

por

splice @proxy, $p, 1;

entonces el programa seguirá funcionando, pero la bajada de las URL no será de forma consecutiva, sino alterna, debido a que estamos modificando la estructura interna de los array, y los contadores internos de los for() y each() no son reajustados con esos cambios, hasta que los bucles son reiniciados de nuevo. Si se quiere, entonces, que las URL sean bajadas de forma consecutiva, habría que ajustar más líneas con más casos, para no incrementar $i y $p en caso de haberse ejecutado un splice().