Problème avec l'état des lieux

Bonjour. J’ai déménagé récemment d’un appartement que je louais par l’intermédiaire d’une agence immobilière (le propriétaire refusant absolument tout contact avec ses locataires). Je n’ai jamais causé de problèmes, malgré un très gros problème d’humidité dans le logement, provoquant de grosses taches de moisissures, ce qui peut entraîner de graves problèmes de santé, ainsi qu’une consommation plus qu’excessive de chauffage électrique(ce sont d’ailleurs les causes de mon départ, voyant qu’après avoir demandé plusieurs fois à l’agence de dire au propriétaire de faire des travaux mais que rien n’a jamais été entrepris). J’ai même fait isoler les combles avec les aides de l’Etat, à la demande du propriétaire; je pense donc avoir toujours été très correct  depuis mon arrivée. Mais ce n’est pas tout à fait le problème…

Pour mon départ, nous avons donc effectué un état des lieux en bonne et due forme, que nous avons signé le 22 janvier 2022, la représentante de l’agence immobilière (bailleur) et moi même (locataire) et rien de particulier n’était à préciser. Le 24 janvier, la représentante de l’agence m’a contacté par téléphone pour m’informer qu’après une visite du logement qu’elle aurait effectuée avec le propriétaire en mon absence, puisque je n’étais plus locataire à ce moment là, ils auraient remarqué des impacts dans un plafond. Il faut donc effectuer des travaux (rebouchage, peinture), qui seront déduits de ma caution. C’est là qu’à mon sens il y a un problème: le bailleur a-t-il le droit de faire payer au locataire des travaux qui ne sont pas stipulés sur le document d’état des lieux? Suis je en droit de contester cette retenue sur la caution? Personnellement je ne pense pas mais je n’en suis pas tout à fait sûr, d’où ma question.

Merci