Pierwsza wzmianka o "zamku Przymiłowice" (późniejszym Olsztynie) pochodzi z 1306 roku. Wzniesiony został na miejscu wczesnośredniowiecznego grodu, rozbudowany w latach 1349-59 z inicjatywy Kazimierza Wielkiego, dla obrony pogranicza śląsko-małopolskiego. Od 1370 r zamek przeszedł w ręce Władysława Jagiełły.

W czasie swej świetności (XVI w) zamek składał się z 5 zasadniczych części: dwu przedzamczy oraz zamku dolnego, środkowego i górnego. Po pd-wsch stronie wzgórza znajdował się wjazd, który prowadził przez most zwodzony oraz bramę, umieszczoną w wieży, połączoną z murami obronnymi. Dalej znajdowało się pierwsze, wydłużone podzamcze z zabudowaniami gospodarczymi. Od zamku dolnego oddzielone ono było murem z bramą. W zamku dolnym stały budynki gospodarcze oraz dom mieszkalny zwany Kamieńcem. Kolejna brama prowadziła do zamku średniego, usytuowanego u podnóża okrągłej wieży. Ta część z zamkiem górnym połączona była mostem zwodzonym nad sofą i bramą w murze przy wieży. Umieszczono tutaj kuchnie i trzy tzw. pokoje królewskie (sypialnia, jadalnia i sala sądowa).

Warownia olsztyńska jest przykładem gotyckiej budowli zamkowej (typu wyżynnego), w jej konstrukcję włączono wapienne ostańce oraz krasowe groty, co pozwala ją zaliczyć do grupy zamków jaskiniowych.