W 1832 r. w Patrykozach osiadł Teodor Szydłowski, generał powstania listopadowego. Z pomocą znamienitego architekta, Franciszka Jaszczołda w latach 1832–1843 wybudował tu pałac, jedną z najdoskonalszych realizacji architektury dojrzałego romantyzmu w Polsce. Nieregularny plan i bryła budynku sprawiają, że z każdej strony gmach wygląda inaczej, co zbliża obiekt architektoniczny do dzieła rzeźbiarskiego. W wystroju budowli dominuje ornamentyka o cechach gotyku angielskiego, przez co nowo powstała rezydencja nabrała charakteru starożytnego zamczyska rodu Szydłowskich.
Później Patrykozy należały do Antoniego Szydłowskiego i rodu Cichockich. Pod koniec lat 20. w wyniku ich bankructwa dokonano parcelacji dóbr, ziemię rozprzedano, a pałac i zabudowania nabył ksiądz Solnicki. Po II wojnie gmach został przejęty przez Skarb Państwa i stopniowo chylił się ku upadkowi. W latach 1980–1989 r. przeprowadzono pewne prace zabezpieczające, ale dopiero po 2004 r., gdy pałac trafił w ręce prywatne, został on pieczołowicie odrestaurowany i znów można podziwiać jego niezwykle interesującą sylwetkę. Wnętrza, utrzymane w klimacie biedermeierowskim, można zwiedzać po wcześniejszym umówieniu się.