Około 1420 roku dobra rytwiańskie odkupił od Mikołaja z Kurowa biskup krakowski i kanclerz wielki koronny, od 1423 r. arcybiskup gnieźnieński Wojciech Jastrzębiec. Nowy właściciel już wkrótce zbudował na wyniosłym brzegu rzeki Czarnej zamek, przy którym postawił drewnianą kapliczkę Św. Wojciecha i Krzysztofa. Niewielkie fragmenty zamku zachowały się do dzisiaj po środku wsi. Są to ruiny baszty - jedyna pozostałość po trzykondygnacyjnej gotyckiej budowli.

Przez wiele lat wieś była ważnym ośrodkiem kulturalnym. Bywali tu między innymi Jan Kochanowski i Jan Andrzej Morsztyn. Miejscowość szczyciła się jedną ze wspanialszych jak na owe czasy bibliotek. W XVI wieku Rytwiany przeszły na własność Kurozwęckich, następnie Łaskich, aż pod koniec stulecia - Tęczyńskich. Z fundacji wojewody krakowskiego Jana Magnusa Tęczyńskiego wybudowano w Rytwianach erem - Pustelnię Złotego Lasu. Była to druga, po podkrakowskich Bielanach, polska pustelnia kamedulska. 1 maja 1621 roku biskup krakowski Marcin Szyszkowski położył kamień węgielny pod budowę klasztoru, usytuowanego na niewielkim wzniesieniu, pośrodku wspaniałych lasów, kilka kilometrów na zachód od rytwiańskich zabudowań. Urokliwe miejsce od lat kusi turystów, pielgrzymów i filmowców. W Pustelni kręcono niektóre sceny do serialu "Czarne chmury".

Serce Pustelni to kościół zbudowany z kamienia piaskowego. Przed kościołem stoją na postumentach dwie figury z 1748 roku przedstawiające święte: Barbarę i Agatę. Z prawej strony głównych drzwi wznosi się wieżyca pokryta blachą miedzianą. Okazały fronton kościoła ma wielkie, półokrągłe okno, poniżej mniejsze, okrągłe, przez które wpada światło do dość mrocznej nawy. Równolegle do nawy głównej i prezbiterium od północy przylegają kaplice chrztu Pana Jezusa i Pana Jezusa Ukrzyżowanego. Od południa: kaplica świętego Romualda i zakrystia. Ściany głównej nawy i sklepienie ozdabiają kosztowne sztukaterie i malowidła, przedstawiające sceny z życia Pana Jezusa i wizerunki świętych. Przed okazałym, złoconym ołtarzem głównym postawiono balustradę z mosiężnych słupów. Centralne miejsce ołtarza zajmuje obraz dużych rozmiarów pędzla przeora kamedułów Venanto da Subiaco "Zwiastowanie N.M.P". W ołtarzu po stronie Ewangelii umieszczono relikwie św. Dygnacjana, św. Jana i Suplicjusza.

W kryptach pod kościołem znajdują się groby zakonników, w kapitularzu grobowiec rodziny Radziwiłłów, a w podziemiach kaplicy p.w. św. Romualda sarkofag Stanisława Łukasza Opalińskiego. W kaplicy nad grobem Opalińskiego znajduje się wmurowany w ścianę marmurowy pomnik, w górnej części ozdobiony portretem zmarłego między dwiema alegorycznymi postaciami. Po środku kaplicy - marmurowy sarkofag Opalińskiego, zniszczony przez Moskali, szukających tutaj skarbów. Osobliwością klasztoru jest także ukryta w jednej z szaf unikatowa w skali kraju figura woskowa (pośmiertna maska), Anny Dziulanki - pół-Włoszki niskiego stanu, wybranki Opalińskiego, który stracił dla niej głowę, narażając na szwank reputację jednego z najznaczniejszych rodów ówczesnej Rzeczpospolitej.

W samych Rytwianach znajdziemy także inne zabytki: XIX - wieczny pałac, otoczony starym, zadbanym parkiem, dawniej siedziba reprezentacyjna księcia Artura Radziwiłła. Dziś pałac jest luksusowym hotelem i ośrodkiem wypoczynkowo - rehabilitacyjnym. Na terenie gminy znajdziemy zabudowania dawnego przemysłu rolno - spożywczego: m. in. gorzelnię, wciąż czynną cegielnię, młyn wodny w Grobli.

Rytwiany to nie tylko miejscowość, ale także okoliczne tereny. Wśród rozległych lasów, otaczających wioskę zachowały się miejsca o wyjątkowych wartościach przyrodniczych. Jednym z nich jest leśno - wodny rezerwat przyrody "Dziki Staw", w skład którego wchodzi jezioro potorfowe o pow. 2,9 ha i głębokości około 2 m. Otoczony jest dzikimi, podmokłymi łąkami z bardzo rzadkimi gatunkami roślin (paproć salwina pływająca) i zwierząt oraz pięknym, 120-letnim modrzewiowym lasem. Można tu spotkać kormorany, perkozy, czarne bociany, czaple, wydry i borsuki.