Deset godina nakon gradnje Zgrade Zemaljske vlade I, austrougarska uprava je, zbog povećanja obima posla i broja službenika centralnih organa vlasti, 1896. godine na istočnoj strani prve palače izgradila Zgradu Zemaljske vlade II.

Zgrada u duhu renesansnih firentinskih palača građena je po projektu arhitekte Karla Paneka, koji je imao zadatak uskladiti je sa izgledom prve vladine palače.

U njoj su se prvobitno nalazile Zemaljska štamparija, Zemaljski ekonomat i Građevinska direkcija, a 1930. je na objektu dograđen i treći sprat.

Za vrijeme SFR Jugoslavije u objekat je smještena Direkcija državnih željeznica, pa je i preimenovan u Zgradu direkcije državnih željeznica.

Tokom opsade Sarajeva (1992-1995.) zgrada je oštećena, a u jedan njezin dio je 1994. godine smješteno Ministarstvo vanjskih poslova BiH, dok se u ostatku nalazi Direkcija željeznica Federacije BiH.

Historijska građevina - Zgrada Zemaljske vlade II (Željeznica FBiH) 2008. godine je proglašena nacionalnim spomenikom BiH