U periodu Austrougarske uprave u Bosni i Hercegovini od 1878. do 1917. godine Sarajevo je doživjelo preobražaj u moderan evropski grad. Sarajevo je bilo centar Zemaljske vlade, Vrhovnog suda, kao i centar glavnih institucija vjerskih zajednica. Uspostavljene su institucije kao što su Zemaljski muzej, Zemaljska bolnica, Direkcija bosanskohercegovačkih željeznica, Zemaljska finansijska direkcija, bosanskohercegovački Sabor i druge. U modernizaciji Sarajeva značajnu ulogu su imali Zemaljska vlada i Gradsko poglavarstvo.

Zalaganjem Zemaljske vlade podignute su zgrade Zemaljska vlada I, II i III, Šerijatska sudačka škola, gimnazija i učiteljska škola, Zemaljska bolnica, Zemaljska štamparija, sudska palata, Zemaljski muzej, tvornice duhana i ćilima, zgrada filijale Austro-ugarske banke, izgrađen je gradski park, podignuti brojni objekti vojnog karaktera itd. Veoma značajna bila je i građevinska aktivnost sarajevske općine, koja je omogućila regulaciju Miljacke, izgradnju vodovoda, kanalizacije, javne rasvjete, gradskog tramvaja, kolodvora, gradske tržnice, gradske vijećnice.

Početkom 1879. godine, nakon kraćeg perioda vojne uprave, počinje djelatnost Zemaljske vlade za Bosnu i Hercegovinu. Dolaskom Benjamina Kalaja za ministra Zajedničkog ministarstva finansija u Beču 1882. godine počinju pripreme za izgradnju Zgrade Zemaljske vlade u Sarajevu. Prilikom posjete Sarajevu 1882. godine ministar Kalaj je vidio u kakvim uslovima rade vladine službe i lično se zainteresirao za izgradnju nove zgrade. Složio se sa izborom „Musale“ kao najpogodnije lokacije za izgradnju i naložio šefu Zemaljske vlade Wurtembergu da otkupi lokaciju.

Gazi Isabegovom vakufu je isplaćeno 4.000 forinti. Uvjeravajući cara u potrebu izgradnje Zgrade Zemaljske vlade u Sarajevu, Kalaj je naveo i političke razloge koji to diktiraju. S obzirom na loš, a dijelom i nečastan smještaj centralnih organa vlasti, stanovnici ove zemlje zaključiće da se radi o privremenom karakteru nove vlasti. Ako bi ko htio da zatraži zaštitu od Vlade, teško će se orijentirati jer su vladini departmani rasuti po cijelom gradu, što, također, po mišljenju Kalaja, ruši ugled vlasti.

Na prijedlog višeg građevinskog savjetnika Schmidta, Kalaj je angažirao arhitektu Josipa Vancaša za glavnog projektanta. Vancašu je određen honorar u visini od 16.000 forinti. Nakon što je u decembru 1883. godine stiglo carsko odobrenje, počelo se sa izradom tehničke dokumentacije i pripremama za izgradnju.

Vancaš je predložio idejno rješenje u tri stilske varijante: firentinska rana renesansa, italijanska gotika i italijanska kasna renesansa. Zbog ograničenih finansijskih sredstava odlučeno je da se zgrada izvede u jednostavnijim, samim tim i jeftinijim, ranorenesansnim stilskim oblicima. Na Vancaševo insistiranje, ulazno pročelje koje je prvobitno predviđeno sa južne strane, orijentirano je na Ćemalušu ulicu, (danas ulicu Maršala Tita).

U periodu 1883/84. godine u Vancaševom bečkom birou rade se izvedbeni projekti za Zgradu Zemaljske vlade i Katedralu Srca Isusova u Sarajevu. To je slučaj sa objektom palača Zemaljske vlade I koji predstavlja Vancašev prvi realizirani projekat u Sarajevu. 

Na prijedlog iz Beča za izvođača radova je izabran Karlo Schwarz, a cigla je nabavljana uglavnom iz Braunovih ciglana i iz firme Finci i Banić u Sarajevu. Gradnja objekta je otpočela 19. marta 1884. godine, a Vancaš se sa svojim ateljeem preselio iz Beča u Sarajevo. Zemaljska vlada mu je povjerila i stručni nadzor nad izgradnjom objekta. Čitav tok izgradnje Zgrade Zemaljske vlade pratio je za to posebno formiran građevinski odbor, čijom zaslugom su radovi završeni 13 dana prije ugovorenog roka i sa konačnim troškovima koji su od ugovorenih 400.000 forinti smanjeni na 393.000 forinti.

Nakon godinu i po dana gradnje, objekat je predat na upotrebu Zemaljskoj vladi u oktobru 1885. godine. Bio je to gabaritom tada najveći objekat u Sarajevu, a sastojao se od podruma, prizemlja i dva sprata. Izgrađena površina objekta iznosila je 3.082 m2 sa ukupno 180 prostorija koje su se nalazile u prizemlju i dva sprata, i sa 32 prostorije u podrumu.

Zgrada je namjenski građena i tu su bile smještene uprava i administracija Zemaljske vlade za Bosnu i Hercegovinu. U prizemlju zgrade su bile smještene zemaljska kasa, katastarska direkcija, neke službe političkog odjeljenja, poštanski i telegrafski ured i stan za čuvara. Na prvom spratu se nalazila svečana sala i prostorije vladinog odjeljenja. Na drugom spratu su bile smještene prostorije ostalih odjeljenja i Vrhovni sud.

U početku su u prizemlju zgrade bile smještene prostorije Muzejskog društva, zatim uredništvo „Sarajevskog lista“ a u podrumu Zemaljska štamparija. Kako je upravno-administrativni aparat uvećavan, ukazala se potreba za novim prostorom.

Godine 1911. na Zgradi Zemaljske vlade I je nad cijelom osnovom dograđen treći sprat koji je projektovao arhitekt Karlo Paržik.

Austrougarska uprava u Sarajevu je nakon deset godina od izgradnje prve vladine zgrade, počela graditi novu zgradu. Zgrada Zemaljske vlade II, u kojoj se danas nalaze Ministarstvo vanjskih poslova BiH i Direkcija Željeznica Federacije BiH je izgrađena 1896. godine kao druga vladina palača. Objekat se nalazi u neposrednoj blizini Zgrade Zemaljske vlade I, na njenoj istočnoj strani. Projekat je izradio Carlo Panek, arhitekt građevinskog odjeljenja Zemaljske vlade. Godine 1905. sagrađena je Treća vladina zgrada, zgrada današnje Općine Centar i Kantona Sarajevo, a nalazi se u neposrednoj blizini prve vladine palače, sa njene zapadne strane.

Od 1929. do 1941. godine (banovina Kraljevine Jugoslavije) u Zgradi Zemaljske vlade I je bilo sjedište Drinske banovine, a od 1945. do 1963. godine u Federativnoj Narodnoj Republici Jugoslaviji bilo je sjedište Vlade Republike Bosne i Hercegovine, a poslije 1963. godine sjedište Predsjedništva Vlade Socijalističke Republike Bosne i Hercegovine i Izvršnog vijeća Skupštine Bosne i Hercegovine.

Konstituisanjem Predsjedništva Bosne i Hercegovine, u oktobru 1996. godine, nastavljen je kontinuitet boravka članova kolektivnog šefa države u ovoj zgradi. Danas su u Zgradi zemaljske vlade I smješteni kabineti članova Predsjedništva BiH, Ustavnog suda BiH, Arhiva BiH i drugih državnih i entitetskih institucija.