Crkva sv. Josipa trebala je još 1918. godine biti izgrađena u ulici Terezija, ali je gradnju zaustavio kraj Prvog svjetskog rata, da bi 1933. godine bilo odlučeno da se crkva gradi na Marijin Dvoru.

Nadbiskup dr. Ivan Šarić je 1935. iz Vatikana donio projekt crkve koja se trebala graditi na periferiji Rima, zaduživši Karla Paržika da ga prilagodi gradnji u Sarajevu.

Kamen temeljac trobrodne bazilike sa dva oratorija i dvije sakristije postavljen je 1936. godine, pod nadzorom Paržikovog sina, građevinskog inženjera Marijana Paržika.

Posvećena je 31. marta 1940. godine i do danas djeluje kao župna crkva čiji je patron Sveti Josip.

U suterenu crkve je kripta sa projektovanim grobnicama za 15 biskupa, u koju su 1997. godine iz Madrida preneseni posmrtni ostaci nadbiskupa Ivana Šarića.

Oštećena tokom opsade Sarajeva 1990-tih, obnovljena je 2002. godine, a od 2008. godine se nalazi na listi Nacionalnih spomenika BiH.