J'ai finalement trouvé la solution !!
Je vais poster des captures d'écran de la procédure au cas où quelqu'un d'autre aurait le même problème. Mon interface est en suédois, mais je vais vous la traduire.
Vous devez le faire depuis un ordinateur. Je n'ai pas vu l'option sur téléphone, même en mode bureau.
Allez dans Outlook
Cliquez sur l'icône de calendrier à gauche de l'écran, ici
Cliquez sur "Ajouter un calendrier", ici
Allez dans "Anniversaires"
Décochez ensuite la case "Activer le calendrier des anniversaires", voir ici