Około 1420 roku dobra rytwiańskie odkupił od Mikołaja z Kurowa biskup krakowski i kanclerz wielki koronny, od 1423 r. arcybiskup gnieźnieński Wojciech Jastrzębiec. Nowy właściciel już wkrótce zbudował na wyniosłym brzegu rzeki Czarnej zamek, przy którym postawił drewnianą kapliczkę Św. Wojciecha i Krzysztofa.

Niewielkie fragmenty zamku zachowały się do dzisiaj po środku wsi. Są to ruiny baszty - jedyna pozostałość po trzykondygnacyjnej gotyckiej budowli. Przez wiele lat wieś była ważnym ośrodkiem kulturalnym. Bywali tu między innymi Jan Kochanowski i Jan Andrzej Morsztyn. Miejscowość szczyciła się jedną ze wspanialszych jak na owe czasy bibliotek. W XVI wieku miejscowość wraz z okolicznymi ziemiami przeszła na własność Kurozwęckich, następnie Łaskich, aż pod koniec stulecia - Tęczyńskich.

Staraniem i z fundacji wojewody krakowskiego Jana Magnusa Tęczyńskiego wybudowano w Rytwianach erem - Pustelnię Złotego Lasu. Była to druga, po podkrakowskich Bielanach, polska pustelnia kamedulska. 1 maja 1621 roku biskup krakowski Marcin Szyszkowski położył kamień węgielny pod budowę klasztoru, usytuowanego na niewielkim wzniesieniu, pośrodku wspaniałych lasów, kilka kilometrów na zachód od rytwiańskich zabudowań.

Odwiedzający Pustelnię powinni zwrócić szczególną uwagę na kościół zbudowany z kamienia piaskowego na osi Wschód - Zachód. Długość kościoła wynosi 42 łokcie, szerokość 30 łokci zaś wysokość 20 łokci. Z prawej strony głównych drzwi wznosi się wieżyca, pokryta blachą miedzianą. Okazały fronton kościoła ma wielkie, półokrągłe okno, poniżej mniejsze, okrągłe, przez które wpada światło do dość mrocznej nawy. Równolegle do nawy głównej i prezbiterium od północy przylegają kaplice chrztu Pana Jezusa i Pana Jezusa Ukrzyżowanego. Od południa: kaplica świętego Romualda i zakrystia. Ściany głównej nawy i sklepienie ozdabiają kosztowne sztukaterie i malowidła, przedstawiające sceny z życia Pana Jezusa i wizerunki świętych. Przed okazałym, złoconym ołtarzem głównym postawiono balustradę z mosiężnych słupów.

Centralne miejsce ołtarza, ozdobionego dwiema kolumnami zajmuje obraz dużych rozmiarów pędzla przeora Kamedułów Venanto da Subiaco "Zwiastowanie N.M.P". W ołtarzu po stronie Ewangelii umieszczone są relikwie św. Dygnacjana, św. Jana i Suplicjusza. Po obu stronach prezbiterium są górne loże. Od strony północnej do nawy przylega kaplica z dwoma ołtarzami: Chrztu Pana Jezusa i Najświętszej Maryi Panny. W kryptach pod kościołem znajdują się groby zakonników, w kapitularzu grobowiec rodziny Radziwiłłów, a w podziemiach kaplicy p.w. św. Romualda sarkofag Stanisława Łukasza Opalińskiego. W kaplicy nad grobem Opalińskiego znajduje się, wmurowany w ścianę wielkich rozmiarów marmurowy pomnik, w górnej części ozdobiony portretem zmarłego między dwiema alegorycznymi postaciami. Po środku kaplicy stoi marmurowy sarkofag Opalińskiego, zniszczony przez Moskali, szukających tutaj skarbów.

Przed kościołem stoją na postumentach dwie figury z 1748 roku przedstawiające święte Barbarę i Agatę. W Pustelni Złotego Lasu kręcono niektóre sceny do serialu "Czarne chmury". Osobliwością klasztoru jest także ukryta w jednej z szaf unikatowa w skali kraju figura woskowa (pośmiertna maska), Anny Dziulanki - pół Włoszki niskiego stanu, wybranki magnata Opalińskiego, który stracił dla niej głowę, narażając na szwank reputację jednego z najznaczniejszych rodów ówczesnej Rzeczpospolitej.

W Rytwianach znajdziemy także inne zabytki: XIX - wieczny pałac, otoczony starym, zadbanym parkiem, będący dawniej siedzibą reprezentacyjną księcia Artura Radziwiłła. Dziś pałac jest luksusowym hotelem, pełniącym funkcję ośrodka wypoczynkowo - rehabilitacyjnego z bogatą bazą zabiegową i leczniczą. Na terenie gminy znajdziemy zabudowania dawnego przemysłu rolno - spożywczego: m. in. dawną gorzelnię, wciąż czynną cegielnię, młyn wodny w Grobli.
Rytwiany to nie tylko miejscowość, ale także okoliczne tereny.

Wśród rozległych lasów, otaczających wioskę zachowały się miejsca o wyjątkowych wartościach przyrodniczych. Jednym z nich jest leśno - wodny rezerwat przyrody "Dziki Staw", w skład którego wchodzi jezioro potorfowe o pow. 2,9 ha i głębokości około 2 m. Otoczony jest dzikimi, podmokłymi łąkami z bardzo rzadkimi gatunkami roślin i zwierząt i pięknym, 120-letnim modrzewiowym lasem, z wspaniałymi okazami modrzewia europejskiego, osiągającego wymiary ponad 35 m. Można tu spotkać kormorany, perkozy, czarne bociany, czaple, wydry i borsuki. Stwierdzono występowanie bardzo rzadkiego chronionego gatunku paproci o nazwie salwinia pływająca.

Tekst: Jerzy Kapuściński, Red. Agnieszka Kozłowska-Piasta