Bangunan istana ini dibangun oleh Giorgio Vasari pada tahun 1650 untuk Cosimo I de' Medici sebagai kantor hakim, yang memberikan nama bangunan ini menjadi "uffizi" ("kantor"). Konstruksinya dikerjakan oleh Vasari, dengan desain oleh Alfonso Parigi dan Bernardo Buontalenti. Bangunan ini selesai dibangun pada tahun 1581. Lapagan bagian dalam berbentuk memanjang dan sempit, dan pandangan pengunjung terbuka menuju Sungai Arno tanpa terhalang oleh barisan tiang doria.[1]
Setelah keluarga Medici musnah, benda seni peninggalan mereka tetap berada di firenze, dan oleh Anna Maria Luisa de' Medici, koleksi tersebut dikumpulkan untuk dibentuk sebagai museum modern pertama. Pada abad ke-16, galeri ini dibuka untuk pengunjung berdasarkan permintaan, dan pada taun 1765, galeri ini dibuka untuk umum.
Karena koleksinya yang sangat banyak, beberapa karya seni dipindahkan ke museum lainnya di Firenze.
Pada saat ini, Uffizi merupakan salah satu atraksi turis yang paling populer di Firenze. Pada musim wisata, antrian untuk memasuki museum bisa mencapai lima jam.
