Žumberk se uvádí jako příklad opevněné vesnice. Ve skutečnosti byl součástí vsi velký opevněný panský dvůr s tvrzí, tento areál byl pozdějí zastavěn. Tvrz byla v 70. letech opravena a dnes je v ní pobočka Jihočeského muzea. Pod tvrzí byl v nedávné době obnoven velký rybník.
Památek lidové architektury zde mnoho není. Při vsupu do vsi od Žáru je velký objekt bývalé fary. Uprostřed návsi stojí kamenná Boží muka pod velkým stromem.

Poblíž vsi se nachází malá osada Chudějov.