På stedet for den nuværende Museum Calvet, som tidligere var en kardinal ' s residence - Livre de Cambrai, opkaldt efter engang boede her kardinal Pierre D Aili, Biskop de Cambrai. I 1719 blev bygningen solgt til françois-rené de Villeneuve, Marquis d Arzela og señor de Martinian.

I 1734, og hans søn, Jacques-Ignace de Villeneuve har besluttet at udvide deres besiddelser, og bygge et nyt slot. Byggeriet blev påbegyndt under ledelse af Len Thomas, men så var det erstattet af arkitekterne Jean-Baptiste franc og Francesco Frank. Bygværker, der ikke var færdige, indtil 1749. I 1802 købte gården forhandler Deletr, som til gengæld overdraget bygningen til leje myndigheder Avignon til at skrive her samling Esprit Calvet. 3 marts 1833, blev bygningen købt af byen Avignon for Museet. Fra den 1. oktober 1963 byhus Villeneuve-Martinian inkluderet i listen over de historiske monumenter i Frankrig.

Her er en af de største samlinger af malerier i Frankrig. For at få en indsamling i gang af en lokal læge (numismatiker og bibliofil og arkæolog) Esprit Calvet, og senere, i 1810, testamenterede han sine samlinger og bibliotek til Museet af maleriet. Udstillinger af Museets værker af kunst, skulpturer i porcelæn, men er især interesseret i Afdelingen for maleri, der dækker perioden fra det XVI til det XX århundrede — fra Vasari og Luca Giordano til David, Corot, Manet, Soutine og Bonnard.

Her town house Villeneuve-Martinian, at der blev tilføjet en moderne bygning, som er den vigtigste samling. Bibliotek, der er indsamlet kælver og betydelige samling af næsten 12 000 mønter og medaljer, der blev transporteret til et andet sted i byen.