Den lille Palace blev bygget i 1317. Det er i den Nordlige del af pladsen, der er modsat det Pavelige bopæl, og så navnet på grund af sin beskedne størrelse og værdi, sammenlignet med Slottet af paverne.

Historien om hans udseende vag: ifølge én version – det var bygget til en nevø af Pave Johannes XXII, Arnaud de via, på den anden side - det var bygget af kardinal Berengere F. Senior. Efter hans død, Slottet og den omkringliggende område blev købt af kardinal Arnaud de via. I 1335 via de døde, og Slottet har ikke hører til nogen, indtil ankomsten af Pave Benedikt XII, som igen købte det og vendte det til den officielle residens for Ærkebiskoppen i Avignon.

Bygningen blev svært beskadiget i perioden fra 1396 i 1411. da det blev betragtet som en befæstet citadel af paverne i Avignon. Efter afslutningen af fjendtlighederne, Palace efterhånden faldt i forfald. I anden halvdel af det FEMTENDE århundrede Biskop Alan de Cotui og follower Giuliano della Rovere (som senere ville blive Pave Julius II besluttede, at restaurere bygningen, og at 1503, gav ham næsten oprindelige form. Della Rovere ankom til Avignon i 1474, som han blev udnævnt af sin onkel Pave Sixtus IV, Biskop af Avignon. Han konstruerede den sydlige og Vestlige facader i stil med den italienske Renæssance og i 1487, blev der rejst et tårn (senere, i 1767 blev det ødelagt).

Under den franske revolution, blev Slottet ejet af staten, i det nittende århundrede var det hjemsted for en Katolsk skole, og senere erhvervsskole. Kun i slutningen af XX århundrede på det område af den Palace Museum blev åbnet.

Siden 1958 er der Museum i middelalderen. I 1976 var der et kunstgalleri med værker af mestre fra Renæssancen. I det 19 haller af Museet, navnlig af Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, også her er den berømte "Madonna" af Botticelli.