Je pense qu'en raison de votre première tentative d'exécuter le .dll directement, l'entrée "Windows Photo Viewer" pointe toujours vers le .dll au lieu de rundll32, que vous ne pouvez bien sûr pas exécuter directement.
Essayez d'ajouter ce qui suit au registre :
Windows Registry Editor Version 5.00
[HKEY_CLASSES_ROOT\Applications\photoviewer.dll]
[HKEY_CLASSES_ROOT\Applications\photoviewer.dll\shell]
[HKEY_CLASSES_ROOT\Applications\photoviewer.dll\shell\open]
"MuiVerb"="@photoviewer.dll,-3043"
[HKEY_CLASSES_ROOT\Applications\photoviewer.dll\shell\open\command]
@=hex(2):25,00,53,00,79,00,73,00,74,00,65,00,6d,00,52,00,6f,0