Akademija je smještena u povijesnu građevinu, nacionalni spomenik BiH, u kojoj je do tada djelovao Zavod svetog Augustina. Udaljena tek oko 150 metara od sarajevske Katedrale zgrada se nalazi u ulici koja se u vrijeme osnivanja Muzičke akademije zvala Svetozara Markovića, a danas nosi ime po prvom Vrhbosanskom nadbiskupu - Josipu Štadleru.

Ovaj veleljepni objekat inspirisan neogotičkim stilom sagrađen je po projektu čuvenog Josipa Vancaša 1882. godine, u vrijeme kada je razvoj austrougarskog Sarajeva bio u punom zamahu.

Nakon završetka izgradnje u objekat je, baš po nalogu nadbiskupa Štadlera, smještena redovnička družba Kćeri Božje Ljubavi. Njihova misija bila je podučavati djevojčice svih vjeroispovijesti muzičkoj i opštoj kulturi, pa je tako muzika ovim dijelom Sarajeva odzvanjala i mnogo prije negoli je osnovana Muzička akademija.

Poslije Drugog svjetskog rata „narodna vlast“ je iz objekta iselila sestrinski red Kćeri Božje Ljubavi, nakon čega je izvršena rekonstrukcija prostora u kojima su danas smješteni Osnovna muzička škola, Srednja muzička škola, Muzička akademija i Institut za muzikologiju.

Za prvog rektora Akademije (od 1955. do 1960.) izabran je čuveni etnomuzikolog, akademik Cvjetko Rihtman. Njemu danas možemo zahvaliti za prikupljanje, istraživanje i modernizaciju transkripcije folklornih napjeva iz BiH i cijele Jugoslavije.

Početak rada Muzičke akademije u Sarajevu bio je veliki stimulans za muzičko stvaralaštvo u BiH. Mladi i talentovani ljudi mogli su stjecati znanja i zvanja kod vlastite kuće, a ubrzo je Akademija postala druga kuća i brojnim, kasnije veoma uspješnim muzičarima iz cijele Jugoslavije.

Do danas je Akademiju završilo preko 3500 studenata, organizovano je više od 5000 koncerata, a uspostavljena je i saradnja sa mnogim prestižnim obrazovnim ustanovama iz cijeloga svijeta, poput Kraljevske muzičke akademije u Stockholmu i Muzičke akademije iz Karlsruhea.

Muzička akademija u Sarajevu može se pohvaliti i organizacijom vrlo uspješnog Sarajevo Chamber Music Festivala, u kooperaciji sa čuvenim Manhattan String Quartetom.

Danas ova prestižna ustanova nudi obrazovanje iz muzičke pedagogije, te izobrazbu u umjetničkom i naučnom radu. Pod okriljem Akademije djeluje osam odsjeka, na kojima predaje preko 80 profesora, a obrazuje se nešto više od 300 studenata.