Olimpijski muzej BiH osnovan je sa ciljem da se trajno sačuva uspomena na organizaciju i realizaciju XIV Zimskih olimpijskih igara (ZOI), koje su 1984. godine održane u glavnom gradu Bosne i Hercegovine.

Od 1984. do 1992. godine Muzej je djelovao u reprezentativnoj vili u centru Sarajeva, koju je čuveni češki arhitekta Karlo Paržik projektovao za sarajevskog advokata i političara Nikolu Mandića, a kojem je, kao predsjedniku vlade NDH i narodnom neprijatelju, nakon Drugog svjetskog rata oduzet i život i imovina.

Već na samom početku posljednjeg rata u Bosni i Hercegovini, 27. aprila 1992. godine, zgrada Olimpijskog muzeja je granatirana, a u požaru koji je potom izbio stradala je zgrada i mnoštvo vrijednih eksponata.

Ipak, najveći dio eksponata je spašen i prenesen u Olimpijski kompleks Zetra, gdje je 2004. godine, u povodu obilježavanja 20. godišnjice XIV ZOI, otvoren „novi“ Olimpijski muzej.

Fundus Muzeja obnovljen je donacijama brojnih predmeta vezanih uz tematiku XIV Zimskih olimpijskih igara, a u toku je i proces obnove zgrade Olimpijskog muzeja.