La costruzione, uno dei più insigni edifici militari di epoca rinascimentale , è a pianta rettangolare , delimitata dai quattro torrioni cilindrici angolari di S. Ferma, S. Sebastiano, S. Giovanni e S. Colombano con maschio ottagonale alto m 23. Fu iniziato per ordine di Giulio II della Rovere , che intendeva mettere al sicuro il porto cittadino dalle incursioni di pirati , e primo direttore dei lavori fu Bramante nel 1508, seguito da Antonio da Sangallo il Giovane e infine nel 1535 da Sangallo il Giovane e infine nel 1535 da Michelangelo. Molto bello anche l’ampio cortile interno, con fronti decorate.