Le village de Sainte Agnès fut construit au 12ème siècle à cet endroit afin de se protéger des pirates. Le château fut érigé en 1158. Il appartenait à cette époque au Comte de Vintimiglia.
Il fut ensuite transmis au Comte de Provence, Henri d’Anjou.
Le château appartint au Comté de Savoie à partir de 1388 mais fut détruit en grande partie en 1694 sur ordre de Louis XIV.
Des fouilles ont été entreprises par la Société d’Art et d’Histoire du Mentonnais et l’association les Peintres du Soleil à partir de 1993.
Dans les ruines ont été découverts des céramiques ainsi que des instruments de musique. Cela a permis de se faire une idée de la vie que menaient les villageois au Moyen Age : ils avaient un potager, cultivaient le blé et élevaient de moutons. La vie étant très rude, l’espérance de vie ne dépassait pas 35 ans.
Le jardin se visite tous les jours de 9h à 13h et de 14h à 18h.