Habiter dans un bâtiment agricole étant agriculteur

Je construis une cave viticole avec régulier permis de construire. Une partie de la cave pourrait être aménagé pour mon habitation sans avoir à changer le permis. Est ce que je peux y habiter  avec ma famille ? Quels sont les sanctions si j’occupe le bâtiment sans autorisation ? Je précise que mon activité agricole est factuelle et sincère.

Merci pour vos réponses