Página 1 de 1

Universal XML Scraper me roba la energia...

Publicado: 09 Abr 2020, 19:57
por Jugadoresdelpasado
Hola gente.

Pues nada, estoy haciendome una imagen propia, y me he puesto a scrapear las roms. Son unas 12.000, y despues de unas horas en ello, ha comenzado a aparecer el siguiente error:

Temp\MIX1\wheelTEMP-RESIZE_Temp.png Problem

Según he podido leer por otro lares, es un error "inusual", que ni el programador sabe exactamente a que se debe. La principal idea del error es que Screenscraper se satura y el programa no puede descargar y redimensionar las imágenes. De hecho, al finalizar el scrapeo, vas a la carpeta de las imágenes, y la gran mayoría son invalidas o bien no ha sido capaz realmente de terminar a pesar de que el programa te indica que ha encontrado el 100% de las imágenes.

Y ahora yo pregunto: ¿a alguien más le ocurre? En un principio tiene sentido porque durante la mañana ha scrapeado de maravilla, pero ha sido llegar la tarde, y es imposible, por lo que podría ser que el servidor se satura. En cualquier caso no me gusta quejarme porque el programa es gratuito, pero vaya tela, con las horas que cuesta scrapear... Si scrapeas desde el propio Recalbox, es un desastre porque se cuelga cada 5 minutos, y ahora con esta herramienta parece ser que tampoco es 100% efectivo. Parece que esto de scrapear esta aun un poco verde. No me extraña que por lo general no aparezcan demasiadas imágenes nuevas, pues esto es un poco de tortura 8-)

Gracias!

Re: Universal XML Scraper me roba la energia...

Publicado: 09 Abr 2020, 20:12
por egrueda
Muchas veces los scrapers fallan porque se quedan sin espacio en disco ;-)
Aparte de eso, existen otros scrapers más fiables, aunque todos ellos están supeditados al correcto funcionamiento del sitio web que uses:

Opción 1: Sselph's Scraper
https://github.com/sselph/scraper (viewtopic.php?t=6452)

Opción 2: Skyscraper by Lars Muldjord
https://github.com/muldjord/skyscraper

Re: Universal XML Scraper me roba la energia...

Publicado: 09 Abr 2020, 20:32
por Jugadoresdelpasado
Muchas gracias por la respuesta, les voy a echar un vistazo. Lo de la falta de espacio en disco lo habia pensado durante unas décimas de segundo, pero estoy en PC para despues pasarlo a la Pi :P

Re: Universal XML Scraper me roba la energia...

Publicado: 09 Abr 2020, 23:20
por Jugadoresdelpasado
Pues de momento estoy usando el de Skraper.net y parece que funciona. Es algo más lento, pero cuando hay un error, reintenta automáticamente. He hecho una donación a Screenscraper para que me aumenten de 1 a 5 hilos, con eso mejorará la cosa seguro.

Gracias de nuevo.