Ova kratka ulica, koja povezuje Gazi Husrev-begovu (Zlatarsku) na zapadu i ulicu Mudželiti veliki na istoku, nastala je još u prvoj polovini 16. vijeka, u okviru Gazi Husrev-begove mahale.

Prvobitno se ime Kujundžiluk upotrebljavalo kao naziv za cijelu čaršiju u kojoj su djelovale kujundžije (zlatari), a u čijem sastavu se pored današnje ulice Kujundžiluk nalazio i onaj dio Gazi Husrev-begove ulice što vodi uz Gazi Husrev-begov bezistan, od ulice Zelenih beretki do Sarača.

Kujundžijski (zlatarski) zanat bio je veoma razvijen u Sarajevu u osmansko doba.

Tako je u drugoj polovini 18. stoljeća kujundžijski esnaf, u koji su spadali i časovničari, te jalduzdžije (koji su se bavili pozlatom bakarnih stvari) i hašrmedžije (koji su pravili hašerme, srebrene dijelove drški noža), brojao više od 200 majstora, kalfi i šegrta.

Oko 1900. godine dolazi do razdvajanja ulica Kujundžijske čaršije, pa je veća saobraćajnica dobila ime Veliki kujundžiluk, dok je manja nazvana Mali kujundžiluk.

Od Velikog kujundžiluka i ulice Predimare je 1931. godine formirana Gazi Husrev-begova ulica, pa je ulica Mali kujundžiluk ostala kao jedini kujundžiluk u Sarajevu.