Dawna dzielnica żydowska mieściła się w obrębie Małego Rynku, który od strony południowo-wschodniej niemal przylega do głównego rynku kazimierskiego. Przypuszcza się, że tu właśnie zbudowana została pierwsza, drewniana synagoga w Kazimierzu, nie wiadomo jednak ani kiedy powstała, ani gdzie się ona dokładnie znajdowała. Według wykazu bożnic i domów modlitwy na terenie powiatu puławskiego z 13.11.1922 roku synagoga została założona w 1220 roku. Z dokumentu pochodzącego z 1557 r. dowiadujemy się jedynie o spaleniu się istniejącej tu drewnianej bożnicy oraz o staraniach miejscowej gminy, zmierzających do uzyskania pozwolenia na budowę nowej – murowanej. Nie wiadomo, czy murowana synagoga stanęła w Kazimierzu już w drugiej poł. XVI w., gdyż w istniejących dokumentach nie zachowały się na ten temat żadne informacje. Wiadomo jedynie, iż nowa synagoga została wybudowana w Kazimierzu jeszcze przed rokiem 1622. Stała prawdopodobnie w tym samym miejscu co późniejsza – działająca do czasów II wojny światowej – synagoga przy ul. Lubelskiej, usytuowana tuż za rynkiem. Bożnica ta uległa zniszczeniu po 1661 r., prawdopodobnie wskutek działań wojennych. Udało się ją odbudować dopiero po 1677 r. dzięki przywilejowi króla Jana III Sobieskiego, jednakże uległa ponownemu zniszczeniu w pierwszej połowie XVIII w. Obecny budynek synagogi pochodzi z drugiej poł. XVIII w. i jest czwartą z kolei budowlą postawioną w miejscu poprzednio zniszczonych. Jest to budynek w stylu późnobarokowym, wzniesiony z kamienia wapiennego na planie prostokąta (14,8 x 16,9 m), nieotynkowany, z łamanym, krytym gontem dachem. Pierwotnie – jak się wydaje – jej jedynym pomieszczeniem była sala główna, do której z czasem – zapewne w końcu XIX w. – dobudowano wzdłuż ściany północnej sale modlitewne dla kobiet.