Na mestu sedanjega muzeja Calvet je bil prej kardinal bivališče - Livre de Cambrai, imenovan v čast nekoč živel tu D'Ayli Pierre kardinala, škofa de Cambrai. Leta 1719 je bila stavba prodana Francois-Rene de Villeneuve, Marquis de seigneur d'Arzele in Martignano.

Leta 1734 je njegov sin Jacques-Ignace de Villeneuve se odločili, da razširijo svoje deleže, in zgraditi novo palačo. Gradnja se je začela pod vodstvom Thomasa Laine, nato pa spremenil svoje arhitektom Jean-Baptiste Francesco Frank Frank. Gradbena dela so bila končana šele leta 1749. Leta 1802 je kupil hišo Deletro trgovca, ki je v zameno izročil stavbo najema Avignon organe, da se zbiranje tukaj Esprit Calvet. 3. marec 1833 Stavba je bila kupljena s strani občine Avignon za muzej. Dne 1. oktobra 1963 meščanska hiša Villeneuve-Martignano na seznam zgodovinskih spomenikov Francije.

Je v njem ena od največjih zbirk slik v Franciji. Zberite zbirka začela lokalnega zdravnika (numismatist, bibliofil in arheolog) Esprit Calvet, kasneje, leta 1810, je zapustil svojo zbirko slik v muzeju in knjižnici. Muzejski eksponati so dela uporabne umetnosti, kipi, porcelana, vendar zelo zanimivo slikarstvo oddelka, ki zajemajo obdobje od XVI do XX stoletja - po Vasari in Luca Giordano Davidu Corot, Manet, BONNARD in Soutine.

Tukaj, v meščanski hiši Villeneuve-Martignano, na katerega so bili dodani v sodobnih stavbah, je glavna zbirka. Knjižnica, Calvet in zbrali veliko zbirko skoraj 12 000 kovancev in medalj so se preselili v druge kraje.