Prvi uboži menihi, ki so se naselili na območju Ptuja in današnje Slovenije, so bili dominikanci.

Mehtildis, vdova Friderika III., jim je leta 1230 podarila zemljo na zahodnem robu mesta, pod Grajskim gričem. Leto kasneje so se v delno zgrajenem samostanu naselili menihi iz Brež na Koroškem.

Že v prvem gradbenem obdobju so sezidali samostan v višini dveh etaž. Odlika samostana je križni hodnik, ki sta ga najprej sestavljala južni in bolj imeniten vzhodni krak. 1302. je samostan prizadel požar, obnova je trajala do srede 14. stoletja, v tem obdobju so zgradili še zahodni krak križnega hodnika in poslikali njegovo vzhodno steno. Prezidave in poslikave so potekale tudi v 15. in 16. stoletju.

V 17. stoletju so samostan baročno prezidali. Vzhodno cerkveno pročelje so obrnili proti mestu ter ga v začetku 18. stoletja prekrili z bogato štukaturo in opremili s kipi. Barokizirali so tudi samostansko jedilnico, jo poslikali in njen obok prekrili s štukaturo.

Redovniki, ki so se ukvarjali z gospodarjenjem, šolstvom, pridiganjem in dušnim pastirstvom, so tukaj živeli do leta 1785, ko je bil samostan ukinjen z jožefinskimi reformami.

1926. ga je kupila občina, leta 1928 pa so v njem odprli mestni muzej.

Na ogled pa so tudi stalne zbirke:

• Rimski in srednjeveški lapidarij
• Ostanki II , IV in V mitreja
• Numizmatična zbirka
• Drobno arheološko gradivo