Slottet er et ideelt udgangspunkt på kanten af den høje og forrevne klipper i Wachau-dalen på vysote Petrovna den højre bred af Donau i nærheden af Melk. Kendt som "Vogter af Wachau", slottet står på dette sted for over 1000 år.

Gamle optegnelser i historiske dokumenter, der nævner et ideelt udgangspunkt kan dateres tilbage til år 1135. Oprindeligt var slottet blev opført som ejet af Biskoppen af Passau. Stedet for byggeri blev valgt visse, hvor der engang var en Romersk fæstning. Den tidligste del af Paladset kan dateres tilbage til det 12 århundrede, men i de følgende århundreder blev det ombygget flere gange.

Familien er et ideelt udgangspunkt ejet slottet i næsten to hundrede år, indtil døden af den sidste medlem - Ulrich von Sanmichele i det tidlige 14. århundrede. Inden for en kort periode slottet var i hænderne på Conrad von Eisenbeil, og derefter i ejerskab af klosteret af Melk. Men Abbeden var snart tvunget til at sælge slottet, og i 1396 fæstningen blev taget under kontrol af brødrene Casper og Gundaker von Starhemberg. I over fire århundreder efterkommere af von Starhemberg øget og forbedret slottet. Blandt disse var Bartholomæus von Starhemberg, der var et af de første medlemmer af den Østrigske aristokrati, der spillede for Lutherdommen i 1482. Det førte til skabelsen af et stærkt Protestantiske traditioner i slottet, der varede indtil 1639, når Conrad von Balthasar Starhemberg flyttede tilbage til Katolicismen, og i et tegn på deres engagement bygget tæt på slottet kloster.

Den mest berømte form for Starhemberg, der ejede slottet, Ernst rüdiger, der spillede en afgørende rolle i at beskytte Østrigs hovedstad, Wien fra den tyrkiske invasion i slutningen af 17-tallet. Hans oldebarn Ludwig Josef Gregor solgt slottet i 1819 til grev Franz von Beroldingen. De siger, at de sidste par generationer af Starhemberg ikke boede på slottet. Derfor, når Jarlen af Beroldingen købte det, alt inde blev opgivet. Men han genopbyggede slottet og viste det til beboelse.

I 1930, hans great-nephew solgt slottet til grev von Oswald, som mistede sin slottet under krigen, og den Sovjetiske besættelse. Men i 1955, slottet er den ideelle udgangspunkt blev givet tilbage til familien og rester i deres besiddelse indtil nu.