El palacio fue empezado por Luca Pitti en la segunda mitad del Siglo XV sobre dibujos, dados doce años antes, de Filippo Brunelleschi, que se inspiró en la estructura con arcos de los acueductos de la antigua Roma.

Aunque durante mucho tiempo el proyecto se atribuyó a Brunelleschi, y en ocasiones a Michelozzo, las investigaciones recientes señalan a Leon Battista Alberti o a su discípulo Luca Pancelli. En todo caso, la construcción del edificio continuó bajo la propiedad de la república de Florencia y, después de 1549, pasó a manos de Cosme I de Medici, gran duque de Toscana.

El edificio fue ampliado en los años 1558-1577, según el proyecto de Bartolomeo Ammannati; otras ampliaciones, que llevaron a las colosales medidas y formas actuales, se hicieron entre 1620 y 1780.

La parte más antigua, la que remonta al dibujo original de Brunelleschi, es la central, con el gran portón de entrada y siete ventanas en cada piso. Pasado el portón, estamos en el magnífico patio proyectado por Ammannati, que le ha dado belleza y grandiosidad. Este patio introduce al escenario encantador del jardín de Boboli, obra de Nicolo Pericoli (Siglo XVI). El jardín de Boboli es el típico espacio italiano, de fuentes y terrazas, con abundante estatuaria.

El edificio alberga una gran colección pictórica, con excelentes obras de Rafael, Tiziano. También cuenta con una galería de arte moderno y un museo de Platería, con los tesoros de las familias Medici y Lorena Detrás del palacio se ubica el Jardín de Boboli.