Délaissant le site perché du Fort Freinet, la population s'installe progressivement sur les pentes plus douces du col de la Garde (vers le XIV e S). Phénomène de déperchement bien connu en Provence, on ne parle plus alors du « Château de la Garde », mais du nouveau bourg de la « Garde du Freinet », qui se développe depuis le quartier Saint-Joseph, et poursuit une première phase d'extension jusqu'à l'actuelle place du marché.
Au XIXème siècle, le village connaît un nouvel essor ; accroissement rapide et considérable, qui accompagne l'explosion de l'industrie bouchonnière. En 1872, la Commune recense près de 660 bouchonniers pour une population de 2687 habitants. Témoin de l'âge d'or de la Garde-Freinet, les nouveaux quartiers des Aires et de la place Neuve se greffent aux ruelles sinueuses du vieux village, pour lui donner l'aspect qu'il conserve aujourd'hui encore.