Le quartier du centre-ville, plus ancien secteur de Brunoy, est certainement celui qui a connu le plus de transformations depuis l’époque féodale. Au Moyen-Âge, sur ce domaine royal qu’était Brunoy (Brenadum), la population était installée autour de l’actuelle place Saint-Médard. Le fief, composé d’une grande seigneurie et appartenant à la famille des Brunayo, se dota d’un château féodal et s’entoura de murailles. L’actuelle Grande Rue était justement nommée « rue neuve des fossés », car elle comblait les anciens fossés de la citadelle médiévale brunoyenne jusqu’au XVIe siècle. L’église fût commandée par la famille de Lanoy au XVIe siècle, sur les ruines de l’ancienne église médiévale et restaurée plusieurs fois depuis. La dernière étape de restauration s’étala de 1998 à 2005. La place qui porte son nom était parée d’arbres et d’une fontaine.
L’actuel parvis de la gare était un lieu d’animations pour les habitants, bordé de marronniers faisant de l’ombre aux joueurs de pétanque et dont le petit manège était animé par la fanfare communale. L’arrivée du chemin de fer en 1849 modifia durablement la population brunoyenne, avec les villas de résidences secondaires des premières familles bourgeoises parisiennes. Finalement, l’aménagement du centre-ville tel que nous le connaissons aujourd’hui est assez proche de celui du XVIIIe siècle, qu’a connu le Comte de Provence, frère du Roi Louis XVI et grand propriétaire brunoyen.