Prema Gazi Husrev-begovoj vakufnami iz 1537 (26. rajab 943), ova biblioteka je ustanovljena kao posebna kulturna i istraživačka institucija u oblasti Islamskih nauka, Islamskog kulturnog naslijeđa i sličnih naučnih disciplina. Datum nastanka vakufname se računa kao datum otvorenja biblioteke.

Bila je dio Kuršumli Medrese, sve dok 1863 nije dobila poseban prostor u Begovoj džamiji.

Kako je kolekcija biblioteke nastavila rasti, 1935 je premještena u zgradu pored Careve džamije i bila u upotrebi do početka rata 1992. 

Nakon rata, biblioteka je premještena u zgradu smještenu pored ženskog odjela Gazi Husrev-begove medrese na Drveniji, a zatim, 2013 premještena je u specijalno izgrađen objekat u srcu Baščaršije. 

Kolekcija biblioteke sadrži oko 100,000 rukopisa, knjiga, dnevnika i raznih dokumenata pisanih na arapskom, tuskom, farsiju, bosanskom i drugim evropskim jezicima.

Biblioteka također posjeduje muzej sa više od 1,200 eksponata, koji svjedoče o bogatoj kulturnoj i religijskoj tradiciji Muslimana u Bosni i Herzegovini.