V srednjem veku je bila glavno mesto Annecy, Ženeva County, in stoji v središču mesta Annecy, je bil grad sedež grofov Ženevi. Grad je bil zgrajen v XII stoletju na mestu trdnjave, zgrajene štiri stoletja prej. V XIII stoletju je postal rezidenca družinskih članov grofovske, kasneje preselil na vojvoda Savojski.

V srednjem veku so grad večkrat uničili požari, ampak vsakič, ko se je zmanjšala, bolj in bolj krepi svojo obrambo. Kljub debelini sten, preti videz in glavno mesto na vrhu hriba, v prvi polovici XVII stoletja, grad je delo francoske vojske. V XVII stoletju, je v gradu vojašnice in skladišča, enkrat je celo služil kot zatočišče za brezdomce. Šele sredi XX stoletja, je bila stavba razglašena za zgodovinski spomenik, in zdaj nahaja muzej, kjer si lahko ogledate umetnine in predmete iz različnih obdobij.

Eden izmed najbolj znanih prebivalcev gradu je bil Robert Ženeva - begetteth tu leta 1342, sin grofa Amadeus III. Robert Ženeva je znan tudi pod imenom anti-papeža Klementa VII - precej militantno in kruto, vzdevek mesarja in rabelj za svoje metode, ki se ukvarjajo z uporniki. V drugi polovici XIV stoletja v katoliškem svetu, je imel dva očete - eno uradno izvoljen Urban VI in drugega izvoljenega Kardinal je "opozicija" Klemen VII, ki je upal, da bo prevzel oblast in strmoglavljenje Rim Urban VI. Da ni, Antipope Clement naselili v Avignonu, ki je nekoč nastanjene papeško prebivališče.

Po smrti Klementa VII v 1394 se je združil z Annecyju in Savoy izgubil svoj status kapitala občine in občine v Ženevi, preveč, je izginil. Zaradi vojvoda Savojski gradu dobil svoj najlepši stolp Perrer.

Danes je grad obdan z lepimi javnih vrtovih in drugih zgodovinskih znamenitosti. Z njegove stene videl mesto in jezero Annecy.