Gimnazijska ulica spaja Obalu Kulina bana na jugu sa raskršćem ulica Zelenih beretki, Branilaca Sarajeva i Muhameda Kantardžića na sjeveru i nalazi se na administrativnoj granici sarajevskih općina Stari Grad i Centar.

Nastajala je od 1886. do 1891. godine, kada austrougarska uprava na mjestu kuća i bašći uz Miljacku gradi Prvu mušku realnu gimnaziju (danas Prva gimnazija) i Učiteljsku školu (danas OŠ Safvet-beg Bašagić).

Tada je ulica i nazvana Gimnazijska, a 1906. je u njoj podignuta i treća škola – Mala realka (danas Srednja škola primijenjenih umjetnosti).

Školske zgrade, zajedno sa Oficirskom kasinom (danas Dom Oružanih snaga BiH) i zgradom Banke na Obali (zgrada Privredne banke Sarajevo), bile su prvi potpuno zaokruženi kompleks namjenskih objekata koje je Austro-Ugarska podigla u Sarajevu.

Za Kraljevine SHS ulica je 1919. nazvana po srbijanskom pjesniku Jovanu Jovanoviću Zmaju, tokom okupacije od 1941. do 1945. zvala se Školska, nakon oslobođenja ponovo se zvala Jovana Jovanovića Zmaja, a naziv Gimnazijska vraćen joj je 1994. godine.