Der Schlossberg war schon seit dem 5. Jahrtausend vor Chr. besiedelt. Die Einwohner der antiken Poetovio haben dort eine Festung und Kultstätten errichtet, im frühen Mittelalter war hier eine slawische Grabstätte.

Die mittelalterliche Festung entstand im 11. Jahrhundert, als das Schloss und die Stadt im Besitz der Erzdiözese Salzburg waren. Die Erzbischöfe haben das Schloss den Herrschaften von Ptuj übergeben, die während der dreihundert Jahre ihres Aufenthalts in Ptuj, das dominikanische und Minoritenkloster gründeten sowie die Pilgerkirche in Ptujska Gora bauten. Der Grabstein der letzten Herrschaften von Ptuj, Friderik IX., ist im Erdgeschoss des Schlosses eingemauert. Während der Jahre 1656 und 1802 lebten die Grafen Leslie im Schloss. Die letzten Besitzer waren die Grafen Herberstein von 1873 bis 1945, als es nationalisiert wurde und mit einer prunkvollen Einrichtung ein Teil des Museums von Ptuj wurde.

Auf der zweiteiligen mittelalterlichen Festung waren am Gipfel Wohn- und Wirtschaftsgebäude, auf der westlichen Ebene standen Armeegebäude, darunter auch der Westturm, das älteste noch erhaltene Teil des Schlosses. Im 12. Jahrhundert im mittleren Teil des Bergs stand dort bereits eine Gruppe von Gebäuden mit einem Palais und einem ansehnlichen Verteidigungsturm – dem Konradturm. Im 14. Jahrhundert hat das zentrale Gebäude einen hufeisenförmigen Grundriss bekommen und war zweistöckig, die Schlossmauer wurde mit der Stadtmauer verbunden. Das äußerliche Erscheinungsbild des Schlosses wurde im 16. Jahrhundert grundlegend von italienischen Baufachleuten verändert, die die Stadt und das Schloss vor den Türken festigten. Nach dem Ende der türkischen Gefahr wurde im 17. Jahrhundert der Konradturm niedergerissen, das Schloss vergrößert, auf der östlichen Bergebene wurden Pferdeställe und ein Turm gebaut. Im 18. Jahrhundert wurde entlang der südlichen Mauer ein Verwaltungsgebäude gebaut, auf der Westebene eine Kornkammer und darunter eine Meierei.