Przez wiele lat zamkiem w Niedzicy był własnością rodu Horvath z Palocsy, zwanego potocznie Paloczymi. Z kresem ich panowania wiąże się następująca historia.

Jerzy Horvath był władcą okrutny, który niewiele się przejmował swoimi poddanymi. Ze swoich chłopów wyciskał ostatnie poty, zmuszając do oddawania zawyżonej pańszczyzny, a tych, którzy mu się przeciwstawiali kazał torturować i zamykać w zamkowych lochach.

Pewnego razu w okolicę zamku przybył cygański wóz. Mieszkał w nim stary Cygan wraz z żoną i dziećmi, towarzyszyła im również młoda piękna dziewczyna. Goście nie spodobali się gospodarzowi zamku i nakazał swoim pachołkom pozbycie się ich. Hajdukom nie trzeba było dwa razy powtarzać. W zamieszaniu stary cygan, jego zona i dzieci zostali zabici, tylko po młodej Cygance nie pozostało śladu.

Historia ta zapewne przeszłaby bez echa, gdyby nie fakt, że kilka dni później z murów zamkowych ujrzano młodą Cygankę tańczącą na pobliskich polach. Horvath natychmiast sformował oddział, którym otoczył intruzkę. Ta jednak nic sobie z tego nie robiła. Dopiero kiedy pan zamku podszedł bliżej, przerwała taniec, by oświadczyć mu:

– Na zgubę twego rodu zasadziłam w ziemi żołądź. Wyrośnie z niego okazały dąb, lecz gdy uschnie, zginie też twój ród.

Wściekły Horvath dał sygnał do ataku, jednak Cyganka rozpłynęła się w powietrzu. Po kilku tygodniach na zamkowym dziedzińcu dostrzeżono pędy młodego dębu. Jerzy kazał miejsce otoczyć płotem, trzymać z dala zwierzęta i pilnować rośliny. Z czasem dąb wyrósł na potężne drzewo.

W 1858 roku ród Horvath wygasł, a zamek przeszedł w ręce rodu Salamon jako wiano Kornelii Horvath. Zbiegło się to w czasie z rozpoczęciem usychania drzewa, które ostatecznie runęło w 1950 roku.