Les premières traces du château remontent au XIV siècle, à cette époque, une tour et peut-être « un castrum » contrôlaient un point de passage au confluent de l’Arize et d’un ruisseau, le pas du rat, formant la frontière entre les comtés de Toulouse et de Foix.

En 1444 Jean de Massot devient « Seigneur de Palays », depuis, le Château a toujours été transmis de Famille en Famille jusqu'à ce jour, soit 17 génération successives.
En ce temps là, Palays était une petite forteresse de plaine à la forme quadrilatère composée de murs en briques couronnés de créneaux sur faux mâchicoulis desservis par un chemin de ronde et flanqués de quatre tours rondes.

Des fossés protégeaient le bas des murs, défendus par de nombreuses bouches à feu; un pont-levis permettait l’accès à la vaste cour intérieure. Des galeries de bois, aujourd’hui disparues, longeaient du mur excepté sur le coté Sud Est où se trouvait le modeste logis seigneurial encadré au Sud par une Chapelle voûtée et à L’Est par la tour maîtresse.