Do dziś nie można z całą pewnością stwierdzić, kiedy dokładnie powstała Krzywa Wieża ani w jakim celu ją zbudowano.

Jedna z wersji głosi, że jest ona pozostałością dawnego zamku, który miał istnieć tu jeszcze przed lokacją miasta, o czym miałby świadczyć fakt, że najniższa część wieży, zbudowana jest do wysokości około 10 metrów z kamienia. Część ceglana została przebudowana dopiero na przełomie XIV i XV wieku, równolegle z budową kościoła p.w. św. Anny. Dodatkowo dawne wejście do wieży jest położone na poziomie I piętra. Do wnętrza budowli pierwotnie można się było dostać jedynie po drabinie, lub zewnętrznych schodkach. Pomieszczenie wewnątrz budowli, znajdujące się na poziomie przyziemia, dostępne tylko od góry mogło służyć jako loch głodowy. Obecnie loch głodowy jest w większości zasypany gruzem.

Nie wiadomo dokładnie, dlaczego wieża uległa pochyleniu. Z dokumentów źródłowych wynika, że nastąpiło to późną jesienią 1598 roku. Powszechnie uważa się, że przyczyną mogły być wstrząsy tektoniczne, które odnotowano 15 września 1590 roku. Być może owe wstrząsy osłabiły stabilność budowli. Nie wyklucza się również, że przyczyną pochylenia było rozmoknięcie gruntu, które spowodowało osiadanie fundamentu.

Obecnie odchylenie wieży od pionu wynosi 2,14 m. Warto dodać, że podczas pomiarów dokonanych w 1977 stwierdzono, że odchylenie wynosi 1,98 m. Obecnie Krzywa Wieża pełni funkcję punktu widokowego. W grudniu 2007 zakończył się gruntowny remont ścian zewnętrznych obiektu, dzięki czemu wieża odzyskała dawną świetność.