Une tradition, reprise par les historiens locaux, avance la date de 1339 pour la construction du Château fort, attribuée à Jean Paviot, chevalier banneret de l’armée royale de Philippe VI de Valois. Les deux tours et les caves voûtées de l’actuel château de Boissy, inscrit au titre des monuments historiques, plusieurs fois remanié au cours des temps et, notamment, aux XVe et XVIIe  siècles, sont les restes les plus notables de cette petite forteresse médiévale.

Dans la seconde moitié du XVe siècle, les descendants de Jean Paviot transformèrent leur château en demeure de plaisance construisant entre les deux tours un corps de logis principal.