La costruzione del castello di Casteldelfino risale al 1336. Il Delfino di Grenoble, Umberto II, signore dell’alta Val Varaita, incarica il castellano Raimondo Chabert, di procedere alla costruzione dell’edificio. Raimondo Chabert, che si occupa in prima persona della gestione materiale e finanziaria del cantiere, porta con sé dal Queiras, sull’altro versante delle Alpi, un buon numero di maestranze, a cui se ne aggiungono altre, assoldate localmente. Tra la primavera e l’estate di quell’anno una buona parte della costruzione è ultimata, mentre gli anni successivi vedranno il completamente dell’opera. Il castello domina all’epoca il villaggio aperto di S. Eusebio (che cambierà poi nome in Casteldelfino proprio in seguito alla costruzione dell’edificio); il sito del villaggio si sposterà cinquant’anni dopo, in seguito a un’esondazione della Varaita, sul lato opposto della valle, a mezza costa, dove è ancora oggi.