Cerkev stoji na pokopališču na južnem robu naselja Stari trg ob Kolpi nad dolino Kolpe. Objekt je nepremična kulturna in sakralna stavbna dediščina iz srednjega veka, druge četrtine 17. stoletja ter tretje četrtine 18. stoletja.

V osnovi srednjeveška stavba je bila temeljito predelana leta 1632. Takrat je dobila triladijsko prostornino s kapelama ob vzdolžnih stranicah ladje. Obstoječo cerkveno arhitekturo sestavljajo prezbiterij kvadratnega tlorisa s posnetimi vogali, podolžna triladijska ladja s stranskima kapelama, zvonik, prislonjen pred njeno vhodno fasado ter velika zakristija ob prezbiteriju. Ostanke starejše arhitekture lahko najdemo v levi stranski kapeli, saj lahko na njenih kratkih stranicah razberemo sledove zazidanih, rahlo zašiljenih okenskih odprtin. Notranjščina je enoten baročen triladijski prostor, ki ga vitki stebri s kapiteli v ladji delijo v tri razmeroma ozke in visoke ladje. Stebri nosijo obočni sistem v obliki visečih čeških kap; prezbiterij je obokan s kupolo. Vsega upoštevanja vreden je tudi pevski kor, v prostor segajoča arhitektura, ki jo nosijo monumentalni kamniti stebri.

Glavni, predelan oltar je v osnovi še iz 18. stoletja, predelan pa je bil verjetno okoli leta 1901. Takrat je dobil tudi kipe sv. Družine, ostali kipi so še baročni. Baročen je tudi kip križanega Kristusa v eni od stranskih kapel, kulise Božjega groba v njej pa so s konca 19. oziroma prvih let 20. stoletja. S tega časa je tudi oltar sv. Mihaela v drugi stranski kapeli, ki kaže novo renesančne stilne elemente.

Velik kulturno zgodovinski pomen imajo tudi na pokopališču ob cerkvi ohranjeni starejši kamniti nagrobniki premožnejših družin iz Starega trga in Predgrada ter nekateri partizanski grobovi, katerih nagrobni spomeniki so bili postavljeni po letu 1945 in so prav tako sestavni del spomenika.

Cerkev sv. Jožefa označuje srednjeveško farno središče, katerega zgodovinski pomen presega zgolj cerkveno upravo. Čeprav daje podoba današnje cerkvene arhitekture baročen izgled, pa lahko predvidevamo ostanke starejših, arhivsko izpričanih prednic, vsaj v delu njenih ostenij. Cerkev daje z izpostavljeno lego v prostoru izjemno kvaliteten poudarek celotni Poljanski dolini, cerkveni areal pa je pomemben element v urbani strukturi naselja.