Foro - Perl en Español

La comunidad de programadores en Perl de habla hispana.

Obviar


  • Publicidad

Descargar un html de twitter

¿Apenas comienzas con Perl? En este foro podrás encontrar y hacer preguntas básicas de Perl con respuestas aptas a tu nivel.
Publicar una respuesta

Descargar un html de twitter

Notapor enric73 » 2015-02-25 17:39 @777

Hola,

necesito descargar el html entero de una lista de twitter. He probado de hacerlo con wget de la siguiente manera pero me descarga de forma incompleta el html porque el desplazamiento va desplegando toda la lista a medida que uno desciende.

Con bash utilizo
Sintáxis: [ Descargar ] [ Ocultar ]
Using bash Syntax Highlighting
  1. wget -c -N -p -O usa.dat https://twitter.com/IABM1995/lists/usa/members
Coloreado en 0.003 segundos, usando GeSHi 1.0.8.4

Guarda solo un parte del listado del html de twitter en usa.dat.

¿Es posible descargar todo el listado con todos los miembros (en este caso hombres del tiempo) en Perl y controlar el desplazamiento?

Muchas gracias por adelantado.
enric73
Perlero nuevo
Perlero nuevo
 
Mensajes: 154
Registrado: 2012-03-16 06:27 @311
Arriba

Publicidad

Re: Descargar un html de twitter

Notapor explorer » 2015-02-25 17:51 @785

Puedes usar el sistema de "cursores" de la API de Twitter.

Con el módulo Net::Twitter o el Net::Twitter::Lite puedes hacerlo (consulta la sección Cursors).

Por ejemplo, cómo sacar todos los ID de los seguidores:
Sintáxis: [ Descargar ] [ Ocultar ]
Using perl Syntax Highlighting
  1. my @ids;
  2. for ( my $cursor = -1, my $r; $cursor; $cursor = $r->{next_cursor} ) {
  3.     $r = $nt->followers_ids({ cursor => $cursor });
  4.     push @ids, @{ $r->{ids} };
  5. }
Coloreado en 0.002 segundos, usando GeSHi 1.0.8.4
JF^D Perl programming & Raku programming. Grupo en Telegram: https://t.me/Perl_ES
Avatar de Usuario
explorer
Administrador
Administrador
 
Mensajes: 14486
Registrado: 2005-07-24 18:12 @800
Ubicación: Valladolid, España
Arriba

Re: Descargar un html de twitter

Notapor enric73 » 2015-02-25 18:25 @809

Hola, explorer.

Gracias por la ayuda. Pero no me queda muy claro. ¿Puedo bajarme el html completo? O, por ejemplo, de todos los hombres del tiempo necesito saber cuántos seguidores tienen. ¿Puedo extraer esta información de todos ellos y guardarla en un fichero? En este listado hay unos 400 hombres y mujeres del tiempo en https://twitter.com/IABM1995/lists/usa/members
enric73
Perlero nuevo
Perlero nuevo
 
Mensajes: 154
Registrado: 2012-03-16 06:27 @311
Arriba

Re: Descargar un html de twitter

Notapor explorer » 2015-02-25 19:23 @849

No me he leído la API, pero con el método list_members() se puede extraer la lista de todos los miembros. Y luego se puede recorrer esa lista, sacando a los seguidores de cada uno con el método followers() o followers_ids().

Este ejemplo está en la página del manual de Net::Twitter:
Sintáxis: [ Descargar ] [ Ocultar ]
Using perl Syntax Highlighting
  1. if ( my $followers = $nt->followers ) {
  2.     for my $follower ( @$followers ) {
  3.         #...
  4.     }
  5. }
  6. else {
  7.     warn "HTTP message: ", $nt->http_message, "\n";
  8. }
Coloreado en 0.001 segundos, usando GeSHi 1.0.8.4

Hace poco se ha publicado cómo hacer un bot con Net::Twitter.
JF^D Perl programming & Raku programming. Grupo en Telegram: https://t.me/Perl_ES
Avatar de Usuario
explorer
Administrador
Administrador
 
Mensajes: 14486
Registrado: 2005-07-24 18:12 @800
Ubicación: Valladolid, España
Arriba

Re: Descargar un html de twitter

Notapor enric73 » 2015-02-27 04:21 @223

Gracias, explorer, por lo de Net::Twitter.
enric73
Perlero nuevo
Perlero nuevo
 
Mensajes: 154
Registrado: 2012-03-16 06:27 @311
Arriba
Publicar una respuesta

Volver a Básico

¿Quién está conectado?

Usuarios navegando por este Foro: Google [Bot] y 1 invitado

Powered by phpBB® Forum Software © phpBB Group
Traducción al Español Mexicano por nextgen en colaboración con phpbb-es.com
phpBB SEO
Advertisements by Advertisement Management
cron