Universal XML Scraper me roba la energia...

Sección General del foro
Responder
Jugadoresdelpasado
Pi Newbie
Pi Newbie
Mensajes: 4
Registrado: 17 Mar 2020, 15:03
Agradecido: 0
Agradecimiento recibido: 0

Hola gente.

Pues nada, estoy haciendome una imagen propia, y me he puesto a scrapear las roms. Son unas 12.000, y despues de unas horas en ello, ha comenzado a aparecer el siguiente error:

Temp\MIX1\wheelTEMP-RESIZE_Temp.png Problem

Según he podido leer por otro lares, es un error "inusual", que ni el programador sabe exactamente a que se debe. La principal idea del error es que Screenscraper se satura y el programa no puede descargar y redimensionar las imágenes. De hecho, al finalizar el scrapeo, vas a la carpeta de las imágenes, y la gran mayoría son invalidas o bien no ha sido capaz realmente de terminar a pesar de que el programa te indica que ha encontrado el 100% de las imágenes.

Y ahora yo pregunto: ¿a alguien más le ocurre? En un principio tiene sentido porque durante la mañana ha scrapeado de maravilla, pero ha sido llegar la tarde, y es imposible, por lo que podría ser que el servidor se satura. En cualquier caso no me gusta quejarme porque el programa es gratuito, pero vaya tela, con las horas que cuesta scrapear... Si scrapeas desde el propio Recalbox, es un desastre porque se cuelga cada 5 minutos, y ahora con esta herramienta parece ser que tampoco es 100% efectivo. Parece que esto de scrapear esta aun un poco verde. No me extraña que por lo general no aparezcan demasiadas imágenes nuevas, pues esto es un poco de tortura 8-)

Gracias!
Avatar de Usuario
egrueda
Pi God
Pi God
Mensajes: 3426
Registrado: 10 Feb 2017, 19:31
Agradecido: 7 veces
Agradecimiento recibido: 269 veces

Muchas veces los scrapers fallan porque se quedan sin espacio en disco ;-)
Aparte de eso, existen otros scrapers más fiables, aunque todos ellos están supeditados al correcto funcionamiento del sitio web que uses:

Opción 1: Sselph's Scraper
https://github.com/sselph/scraper (viewtopic.php?t=6452)

Opción 2: Skyscraper by Lars Muldjord
https://github.com/muldjord/skyscraper
Jugadoresdelpasado
Pi Newbie
Pi Newbie
Mensajes: 4
Registrado: 17 Mar 2020, 15:03
Agradecido: 0
Agradecimiento recibido: 0

Muchas gracias por la respuesta, les voy a echar un vistazo. Lo de la falta de espacio en disco lo habia pensado durante unas décimas de segundo, pero estoy en PC para despues pasarlo a la Pi :P
Jugadoresdelpasado
Pi Newbie
Pi Newbie
Mensajes: 4
Registrado: 17 Mar 2020, 15:03
Agradecido: 0
Agradecimiento recibido: 0

Pues de momento estoy usando el de Skraper.net y parece que funciona. Es algo más lento, pero cuando hay un error, reintenta automáticamente. He hecho una donación a Screenscraper para que me aumenten de 1 a 5 hilos, con eso mejorará la cosa seguro.

Gracias de nuevo.
Responder