Nel 1224 Federico II di Svevia diede incarico all’architetto fiorentino Fuccio, di costruire un castello come dimora per sé e per la sua corte, da utilizzare soprattutto per la caccia con il falcone, di cui era appassionato.
Federico II amava così tanto Gravina da definirla “Giardino di delizie“: Gravina era a quel tempo ricoperta da immensi e vasti boschi ed era nota per la fertilità del suo territorio, colmo di grano e uliveti.
Il castello, a pianta rettangolare con 4 torri, si estendeva su tre piani e sotterranei, entrando ci si ritrovava in un grande cortile che dava accesso ai locali del pianterreno: scuderie, cucine, magazzini.
Una grande scalinata regia conduceva agli ambienti adibiti alla falconeria e al personale di servizio, mentre il piano superiore era riservato agli alloggi imperiali: le sale degli appartamenti nobiliari erano illuminate da meravigliose finestre bifore, ornate di pietra gentile intagliata.
