servitude de passage terrain agricole devenu constructible

Bonjour,

Notre voisin avais une servitude de 4 mètres pour passer sur son terrain agricole derrière notre maison.

Il a vendu son terrain une fois elle est passé constructible. Le nouveau propriétaire diviser le terrain en deux nous demande les 5 mètres  tout véhicules et a son tour a déjà vendu le moitie pour une construction de la maison individuelle.

Pourrons les nouveaux propriétaires construire sans notre accord avant le passage d’expert ou après toujours avec la servitude de 4 mètres ? Que dit la lois dans ce cas? Merci d’avance,

Bien cordialement,

Natalia