In 1838 werd in het stadje Podhradí begonnen aan de bouw van een nieuw slot, dit slot moest volgens de Weense achitecten zoveel mogelijk lijken op het kasteel Windsor, eigendom van de Britse koninklijke familie. Vanaf 1863 toen op ambtelijk voorschrift enkel verbouwingen plaatsvonden is het buitenaanzicht van Hluboka ,een pseudo-gothisch bouwwerk nouwelijks meer veranderd. Het herinnerd aan de bijna 300 jarige heerschappij van het geslacht Schwarzenberk.

Eén van de meest beroemde bewoners van Kasteel Hluboka is wel Adolf van Schwarzenberk, de beroemde veldheer tegen te Turken. In 1598 veroverde hij de Ottomaanse vesting Raab (het huidige Gyor) in Hongerije, hiervoor werd hij in 1599 in de hoge edelstand verheven en werd in zijn wapen het afgehakte hoofd van een Turk toegevoegd. Het beeld van een afgehakte Turken hoofd met een pikkende raaf daarboven op is overal in het kasteel verwerkt: in beelden, lampen en zelfs op de deurknop van de poort.