Zamek stanowi chronologicznie najstarszą część zabytkowego zespołu. Otoczony jest wałami ziemnymi pochodzącymi z XVII wieku. Po stronie północnej i południowej znajdują się dwie bramy wtopione w obwałowania. Brama północna pochodzi z XVII wieku, jednak została gruntownie przebudowana w czasie remontu w 1931 roku, natomiast brama południowa została wzniesiona od nowa podczas tej przebudowy. Do dzisiejszych czasów nie przetrwała fosa otaczająca wały, bastiony oraz fortyfikacje podzamcza, stanowiące dodatkowe zabezpieczenie zabudowań zamkowych od strony wschodniej.

Młyn wodny w Rzemieniu

Rozlewisko rzemieńskie było zasilane leśnymi i polnymi potokami, spływającymi grawitacyjnie z poziomu ok. 200 m n.p.m. do obniżenia gruntu mierzącego nieco ponad 182 m n.p.m. Z czasem, kiedy zbudowano tutaj młyn wodny, ujście wód z akwenu do Wisłoki nazwano Młynówką. Wokół istniały liczne stawy – małe, naturalne zbiorniki bezodpływowe. Niedostępność tego obszaru potęgowały bagna, kępy drzew i zarośli.

Pałac Szaszkiewiczów

Na północ od XV-wiecznej wieży zamkowej widnieje ogromny i ciężki pałac Szaszkiewiczów. Wzniesiony jest na miejscu stojącego tutaj wcześniej pawilonu ogrodowego. Pałac Rzemieński reprezentuje architekturę z przełomu XIX i XX wieku. Wzniesiony został w roku 1869 dla Gustawa Szaszkiewicza. Pierwotnie był budynkiem jednopiętrowym, pięcioosobowym, nakrytym dachem siodłowym. Rok 1931 przyniósł rozbudowę pałacu, którą przeprowadzono w oparciu o projekty Zygmunta Hendla. Przebudowa dokonana na przełomie lat dwudziestych i trzydziestych polegała na dostawieniu skrzydła wschodniego oraz nowej partii budynku od zachodu. Pozostawiona część dawnego pałacu stanowi środek obecnej budowli. Podczas przebudowy zniesiono poligonalny ryzalit fasady południowej i nadbudowano tę część pałacu do wysokości I piętra.
Pałac w Rzemieniu jest budynkiem murowanym, potynkowanym na zewnątrz jak i w środku. Budowla swoją fasadą zwrócona jest w stronę południową. Założona na planie prostokąta z dwoma skrzydłami dobudowanymi poprzecznie. Część środkowa pałacu posiada ryzalit z dostawionym portykiem na filarach, oraz tarasem na piętrze. Nad ryzalitem od strony południowej nadbudowane jest drugie piętro, natomiast nad skrzydłem zachodnim umieszczona jest mansarda. Całość budowli nakryta jest dachem dwuspadowym.
Południowa fasada pałacu Szaszkiewiczów podzielona jest gzymsem międzykondygnacyjnym, natomiast dolny poziom ściany jest boniowany. Główne wejście do budynku znajduje się w ryzalicie środkowym tejże fasady. Drugie piętro głównej ściany budynku podzielone jest pilastrami niekanelowanymi bez kapiteli. Nad pilastrami występuje pas gładkiego fryzu i gzyms międzykondygnacyjny. Pozostałe elewacje pozbawione są charakterystycznych szczegółów.