I middelalderen Annecy var hovedstaden Genève Amt, og knejsende i centrum af Annecy slot var residens for greverne af Genève. Slottet blev bygget i det XII århundrede på ruinerne af en fæstning opført fire århundreder tidligere. I det XIII århundrede, og det blev residens for den tæller familiemedlemmer, senere videre til Hertugen af Savoyen.

I middelalderen var slottet flere gange ødelagt af en brand, men hver gang, der er genvundet, i stigende grad en styrkelse af dets forsvar. Men, på trods af tykkelsen af væggene, truende udseende og en Førsteklasses beliggenhed på toppen af en bakke, i første halvdel af det XVII århundrede, og slottet blev taget af den franske hær. I det XVII århundrede, og slottet ligger kasernen og lager, en gang han selv tjente som tilflugtssted for hjemløse. Kun i midten af det XX århundrede bygning, der fik status af et historisk monument, og i dag vært for et Museum, hvor du kan se værker af kunst og genstande fra forskellige tidsaldre.

En af de prominente beboere af slottet var Robert af Genève - født her i 1342 søn af grev Amadeus III. Robert af Genève, er også kendt under navnet anti-Pave Clement VII – en temmelig krigeriske og grusom, med tilnavnet the butcher og bøddel for deres metoder til at arbejde med oprørerne. I anden halvdel af det XIV århundrede i den Katolske verden havde to fædre – et officielt valgt til urban VI, og den anden, valgte kardinal s "opposition" Clement VII, der havde håbet på at tage til Rom med magt og omstyrte urban VI. Der mislykkedes, og den falske Clement slog sig ned i Avignon, som engang husede den pavelige bopæl.

Efter døden af Clement VII i 1394, Annecy var Forenet med Savoy og mistede sin status som hovedstad i Amtet, og Genève-County heller ikke. Tak til Hertugen af Savoyen, slottet, der blev hans mest smukke tårn af Perrier.

I dag er slottet er omgivet af smukke haver og andre historiske steder. Med vægge synlig fra selve byen og lake Annecy.