Jak podaje Świętosław Krawczyński w "Raptularzu świętokrzyskim" (Łódź, 1983), pałac zbudowano według projektów architektów włoskich. Zamówił je sam Hugo Kołłątaj, który chciał mieć w Wólce swoją rezydencję. Współtwórcy Konstytucji 3 maja nie udało się jednak zrealizować tego zamiaru, a plany przejął jego bratanek Eustachy Kołłątaj i wzniósł pałac ok. 1830 roku.

Przez ponad półtora wieku stał na niewielkim wzniesieniu w pobliżu Wiernej Rzeki. Od frontu był parterowy, na wysokiej podmurówce, od tyłu piętrowy. Szerokie kamienne schody prowadziły do głównego wejścia przez głęboki portyk z sześcioma kolumnami jońskimi. Wewnątrz było 18 pomieszczeń, od frontu duże salony, od tyłu mniejsze pokoje.

Pałac słynął z licznych duchów, które miały się ukazywać jego kolejnym właścicielom. Krawczyński pisze, że jeden z nich tak bardzo zżył się z mieszkańcami, że traktowano go jak stałego gościa, bawiono rozmową i sadzano do stołu. Zadowolony z takiego przyjęcia znikał. W "Raptularzu..." czytamy także: "Nadto zdarzało się w owych zamierzchłych czasach w Wólce Kłuckiej, że przed front dworu zajeżdżała cwałem poszóstna kareta. Strzelanie z batów, wiwaty, konie okryte pianą, w oknie pojazdu blada twarzyczka panny młodej w welonie... Wnet to się rozwiewało, znikało, pozostawiając trochę dymu ťnie z tej ziemi Ť, który wkrótce też się rozwiewał. Zjawy te były upamiętnieniem jakiegoś tragicznego wesela w rodzie dawnych posiadaczy pałacu".

W 1928 roku pałac z otaczającym go ogrodem kupił za wygraną na loterii emerytowany kolejarz Stefan Dąbrowski. Jak twierdzi Krawczyński, on już duchów nie widział, ale za to rozmawiała z nimi jego żona. Zjawa Eugenii Kołłątaj w pierwszych dniach wojny miała przestrzegać panią Dąbrowską przed opuszczaniem wsi i przepowiedzieć koniec Hitlera: "Zginie on w niesławie i nie będzie miał ludzkiego pogrzebu".

Gdy przed 15 laty byłem w Wólce, w pałacu mieszkała córka Dąbrowskich. Opowiadała, że odwiedza ją często zmarła matka. Na pytanie, czy nie boi się sama mieszkać z duchami, odpowiedziała bez zmrużenia oka: "Ja też jestem duchem".

Gdy ta ostatnia lokatorka opuściła pałac, stał się miejscem schadzek niezbyt szanujących zabytki ludzi. W 1993 roku zniszczył go pożar. Spłonął całkowicie dach i strop. O jego dawnej świetności świadczą kamienne schody, jońskie kolumny (choć nie są już "złotawe jak miód" - jak je widział Krawczyński), a także ozdobne obramienia otworów okiennych. Wejście na teren ruin pałacu jest obecnie niemożliwe, ponieważ dostępu broni wysokie ogrodzenie i tabliczki z napisem "Teren prywatny". Poza tym sypiące się mury grożą zawaleniem. Lepiej więc podziwiać je z daleka, spacerując wzdłuż płynącej w dole Wiernej Rzeki. Po jej drugiej stronie znajdują się pozostałości dawnych zabudowań dworskich. Niestety, także w ruinie.

Najlepiej z czasów Kołłątajowskich zachowały się dęby. Najpotężniejsze z nich, które mają pnie o obwodzie prawie czterech metrów, tworzą aleję prowadzącą do pałacu od głównej drogi przez wieś.

Jak tam trafić

Do Wólki Kłuckiej dojechać można od drogi krajowej 74 Kielce - Łódź, skręcając w Mniowie na Grzymałków i Rudę Strawczyńską. Od południowej strony dojazd możliwy jest także od drogi Kielce - Częstochowa, z której za Rudą Strawczyńską należy skręcić w prawo. Pałac Kołłątajowski położony jest ok. 300 m na zachód od drogi przez wieś.