Zamek był trudny do zdobycia. Od zachodu i północy potencjalni napastnicy musieliby bowiem wspinać się po zboczu stromo opadającym do doliny rzeczki nazywanej Rzychtą. Z pozostałych stron otoczony był głęboką fosą, oddzielającą przypominający stożek szczyt od rozległego płaskowyżu. Kamienie wydobyte podczas jej kopania posłużyły do wzniesienia murów warowni. Budowniczowie popełnili jednak błąd, gdyż fundamenty osadzili nie na skale, ale na lessowym gruncie, co powodowało osiadanie murów. Z tego prawdopodobnie powodu Kurozwęccy, którzy przejęli zamek w drugiej połowie XIV wieku, zabrali z niego co się dało i zbudowali nowy w Kurozwękach. Zamkowe mury mieszkańcy Rembowa rozbierali jeszcze w ubiegłym wieku.

Pozostałe fragmenty fundamentów rozsiane są po całym szczycie. Archeolodzy doszukali się tam m.in. śladów czterech budynków, wieży, która stała pośrodku, i głębokiego lochu, prawdopodobnie pozostałości studni. Skarbu, który według legendy ma tam być ukryty, dotychczas nie znaleziono. Jedynie pół wieku temu w pobliżu zamku pod wykopanym pniakiem gruszy jeden z mieszkańców natrafił na 91 polskich, niemieckich i szwedzkich monet z XVI i XVII wieku.

Obecnie góra z resztkami zamku stanowi cel romantycznych spacerów. W każdą Niedzielę Palmową wokół ruin krąży ponoć duch rycerza Mszczuja na koniu. Szuka tam swoich sześciu synów, których żona ukryła w podziemiach przed Tatarami. Zaraz potem zginęła od wrogiej strzały i pozostali tam na zawsze. Mszczuj, który w czasie napadu był na polowaniu, po powrocie rzucił się za Tatarami, ale zginął w nierównym boju.

Wieś powstała u podnóża wzniesienia z zamkiem nazywała się Podgrodzie. W drugiej połowie XVI wieku kasztelan żarnowski Jan Sienieński założył w jej miejscu miasto Rembów (pierwotna nazwa Wrembów, prawdopodobnie od wyrębu lasu). Akt lokacyjny otrzymało w 1588 roku, ale na krótko. W przeciwieństwie do pobliskiego Rakowa i Dębna, które także założył Sienieński, w Rembowie nie wykształcił się nawet miejski układ urbanistyczny z rynkiem.

W południowo-wschodniej części wsi zachowały się resztki podworskiego parku i zabudowań. Wielokrotnie przebudowywany dwór służy jako budynek mieszkalny. Przy oborze obecnego właściciela stoi niewielki dawny spichlerz. W cieniu wysokich klonów, na skarpie nad wspomnianą już rzeczką Rzychtą rośnie wysoki na 11 metrów cis. Jego wiek jest jeszcze bardziej imponujący. Liczy bowiem około 500 lat.

-----------------
Rembów położony jest przy drodze Łagów - Raków. Drogę do ruin zamku wskazują liczne tabliczki informacyjne przy tej trasie i drodze przez wieś. Także do sędziwego cisa poprowadzi tabliczka.