Petit Palais je bila zgrajena leta 1317. To se nahaja v severnem delu trga, pred prebivališča papeške države, in je tako imenovan zaradi svoje majhnosti in vrednost v primerjavi z palače papežev.

Zgodba njegovega videza nejasna: po eni različici - je bila zgrajena za nečak papeža Janeza XXII, Arnaud de Via, na drugi strani - to je bila zgrajena kardinal Bérengère F. Elder. Po njegovi smrti sta bila palača in razlogi kupil kardinal Arnaud de Via. Leta 1335 Via De umrl in palača pripadala nikomur, dokler prihodom papeža Benedikta XII, ki jo je spet kupil in predeluje v uradna rezidenca nadškof Avignonu.

Stavba je bila hudo poškodovana v obdobju od leta 1396, ki jih 1411. Ker se je zdelo trdnjava Avignon papežev utrjenih. Po koncu sovražnosti, palača postopoma padel v slabem stanju. V drugi polovici XV stoletja, škof Alain de Kotivi in ​​njegov naslednik Giuliano della Rovere (ki je kasneje postal papež Julij II) odločila, da obnovi stavbe in 1503 mu je dal skoraj prvobitno obliko. Della Rovere prispel v Avignonu leta 1474, saj je bil njegov stric, papeža Siksta IV, škof Avignon imenovan. Dodal je, na južnih in zahodnih fasadah v italijanskem renesančnem slogu in leta 1487 postavil stolp (kasneje, leta 1767 je bil uničen).

Med francosko revolucijo je palača postala last države, v XIX stoletju je bila katoliška šola in kasneje poklicno šolo. Šele ob koncu XX stoletja na območju palače je bil muzej.

Od leta 1958, v njej je muzej srednjega veka. Leta 1976 je tam odprla galerijo umetniških del mojstrov renesanse. V 19 sob muzeja, zlasti delo Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, tudi tukaj je znameniti "Madonna" Botticelli.