Palazzo Pfanner blev bygget i anden halvdel af det 17 århundrede og tilhørte Moriconi familie, medlemmer af købmand adel af Lucca. Efter konkursen af den familie, blev Slottet solgt til andre ædle købmænd, Controni, der var involveret i silke handel. Controni udvidede bygningen, og tilføjede, at det er en monumental trappe, formodentlig af den lokale arkitekt Domenico Martinelli. I begyndelsen af 18-tallet, de har bestilt Filippo Juvarra at gøre beplantningen af haven bag Slottet, og for maleri af buerne i Palazzo og trappen blev inviteret af lokale kunstnere. Denne bygning Controni tog den danske Prins Frederik i hans store rejse til Italien.

Omkring midten af det 19. århundrede ejere af det gamle slot blev Pfanner familie — det Felix Pfanner, et Østrigske bryggeri, købte Slottet efter grundlæggelsen af de første i Lucca, og en af de første i Italien Bryggerier. Bryggeriet er beliggende i en sød bygning mellem haver og værelser på Palazzo var lukkede i 1929.

Palazzo er stadig ejet af Pfanner-familien, der i slutningen af det 20 århundrede blev rekonstrueret bygning, og åbnede den for offentligheden. Takket være sin charmerende arkitektur, Palazzo flere gange blev en optagelse af sted for film, herunder den skød en række scener af filmen "the Portrait of a lady" med Nicole Kidman og John Malkovich i de ledende roller.

Den Barokke haver Palazzo Pfanner også tiltrækker mange besøgende med sin græsplæne, farverige blomster, træer og citroner i lerpotter, stående langs en række af statuer, der forestiller den græske Olympiske guder og årstiderne. I skæringspunktet mellem to vigtigste veje af haven er der en ottekantede springvand og elegante Limonar med to løver og basilisks på taget — emblem familie Controni - pryder den del af haven, hvor stigende buksbom, Laurel, to gamle bambus, taks, fyr, Magnolia og roser.

Turister kan udforske kun en lille del af Palazzo Pfanner, hvor der er en stor festsal, alle indrettede med freskomalerier af det 18 århundrede, og flere side værelser med antikke møbler og træ statue af Ærkeenglen Michael, der i det 14 århundrede.

På Palazzo, udstilling af kirurgiske instrumenter og gamle medicinske afhandlinger, der er indsamlet af Pietro Pfanner, kirurg, filantrop og borgmester i Lucca fra 1920 til 1922.