Le château de Cambiac fût édifié au début du XVIe siècle, sur les ruines d’un bâtiment du XVe siècle qui avait abrité une petite communauté religieuse et qui fût détruit au cours des guerres de religion (seuls, subsistent dans les caves, quelques éléments architecturaux du XVe s.)

Le château fût construit comme lieu d’habitation pour le sieur Milhau dont des parchemins d’époque attestent qu’il fût nommé par la reine Marguerite de Navarre, « connétable de la région de Montauban ». Il résidait donc à Cambiac, ayant en charge le soin et l’intendance d’une garnison militaire de province, étendue.

​

Toute la partie de l’édifice datant du XVIe s. est intacte.