L'edificio sorge sul sito della porta romana della città e comprende il castrum (edificio fortificato) medievale di inizio secolo XIII denominato Porta Fibellona. Il conte Tomaso III di Savoia entrò in possesso dell'edificio nel 1280, quando il marchese Guglielmo VII di Monferrato gli cedette Torino. Nel 1294 il conte Amedeo V di Savoia investì il nipote, il principe Filippo d'Acaia, dei domini del Piemonte e di Torino, compreso il castello, sede di una guarnigione armata, del Vicariato e del carcere.

I primi interventi ordinati dal principe Filippo risalgono al 1295; egli, visto lo stato di abbandono della porta romana e delle mura, le fece distruggere recuperando i materiali. Ebbero così inizio gli interventi sull'edificio, che dimostrano la volontà del principe di cambiarne la destinazione d'uso; Infatti negli anni 1314-15 i conti documentano riparazioni alla sala maggiore del castello, destinata a funzioni di rappresentanza.

Nel 1317-19 furono ampliati alcuni locali. Le trasformazioni, documentate anche dagli scavi archeologici, devono essere lette contestualmente alle ricerche storiografiche relative all'affermarsi della corte: fondamentale è infatti il rapporto tra il potere e la sua rappresentazione. Non è dunque un caso se gli Acaia, nel tentativo di affermare la propria egemonia sulla città e sancire la loro autonomia dai Savoia, iniziarono la loro costruzione politica proprio dai lavori alle sale di rappresentanza del castello di Torino.