Bueno pues al final ha sido menos doloroso de lo esperado. Los pasos en general son poner la resolución a 720p y escalar la resolución.
1- Ejecutar "h3disp -m 5 -d" para conseguir la resolución a 720p.
2- Reescalar la imagen a la resolución 800x480:
2.1 Nos movemos a la carpeta con los .bin: cd /boot/bin
2.2 Guardamos copia del fichero que haya para tu modelo de placa, en mi caso la one: cp orangepione.bin orangepione.bin.bak
2.3 Convertimos el fichero para editarlo: bin2fex orangepione.bin orangepione.fex
2.4 Modificamos en el fichero orangepione.fex las secciones disp_init y hdmi_para dejándolo de la siguiente manera:
[disp_init]
disp_init_enable = 1
disp_mode = 0
screen0_output_type = 3
screen0_output_mode = 5
screen1_output_type = 3
screen1_output_mode = 5
fb0_format = 0
fb0_width = 800
fb0_height = 480
fb1_format = 0
fb1_width = 800
fb1_height = 480
[hdmi_para]
hdmi_used = 1
hdmi_power = "vcc-hdmi-18"
hdmi_x = 800
hdmi_y = 480
hdmi_cts_compatibility = 1
2.5 Volvemos a compilar el fichero: fex2bin orangepione.fex orangepione.bin
2.6 Sobrescribimos el fichero que hemos generado con el del sistema: cp /boot/bin/orangepione.bin /boot/script.bin
2.7 Reiniciamos: reboot
¡Si todo ha salido bien tendremos una perfecta imagen a 800x480 en nuestra pantalla!
Muchas gracias a @Kike por enseñarme el camino hacia la luz
