Nel XIV secolo, la costruzione medievale, voluta dai signori del Delfinato, comprendeva un muro di cinta di 240 m con quattro torri, un grande torrione quadrato, un edificio abitativo e una cappella dedicata a Santo Stefano. L'opera subì una prima riprogettazione all'inizio del XVII secolo, sotto il duca di Lesdiguières (capo dell'esercito protestante del Delfinato che prese Briançon nel 1590), con l'aggiunta, sul fronte nord-est, di un'opera a corna (due semibastioni che racchiudono una cortina muraria).
Durante il suo primo viaggio, nel 1692, Vauban fornì questa descrizione del castello: "Il castello si trova su una roccia molto alta sopra la città, naturalmente ripida..., il suo vecchio recinto è spesso solo due piedi e mezzo, non è terrazzato... le quattro torri sono abbastanza buone (...)....) Nel castello (...) c'è solo una grande e vecchia torre quadrata di tre piani che serve da magazzino e arsenale, (...) un corpo di guardia, una piccola e piuttosto povera cisterna, due o tre vecchi annessi pronti a cadere in rovina, dieci vecchie stanze di caserma e sei moderne, nessun pozzo o latrina, una porta molto povera che non ha né tavola né ponte levatoio.Nella sua seconda visita, nel 1700, prevede di distruggerla piuttosto che "rattopparla": "Rase di conseguenza tutti i brutti palazzi che sono rovinati e appoggiati alla copertura, che non valgono nulla, la torre quadrata che serve da negozio, (...) la cappellina e tutti gli edifici che sono in rovina.) la piccola cappella e tutti gli altri piccoli edifici malridotti, rovinati e marci, così come il corridoio che è fatto solo di pavimenti marci, comunemente chiamato "casse-cous", e tutte le cattive scale di legno per salirvi, così come i vecchi tetti delle torri, le portinerie, le latrine, i corridoi che sono logori e in grande disordine...."
Dopo Vauban, si susseguirono proposte e controproposte, ma nulla vide la luce prima del 19ᵉ secolo e della Monarchia di Luglio. Tra il 1845 e il 1855 la struttura medievale fu completamente distrutta. Furono costruiti dei cavalieri, piattaforme che consentivano di posizionare l'artiglieria in alto. Furono costruite casematte, rifugi sotterranei per i cannoni e una caserma. Dal 1932, la "Grande France", una statua di Antoine Bourdelle, si trova in cima al forte.
L'unico elemento del forte di Château iscritto nella Lista del Patrimonio Mondiale è la polveriera commissionata da Vauban. Progettato per ospitare 60 tonnellate di polvere nera, ha la forma di un edificio rettangolare, circondato da un muro di protezione. La volta è a botte semicircolare ed è sostenuta da possenti contrafforti. Due finestre e una porta garantiscono l'accesso e l'illuminazione. Lo spazio interno è diviso in due da un pavimento in legno massiccio.
