Au Moyen Age, un puissant château fort dominait le village. Adossé à la colline, il était imposant avec ses quatre tours rondes. A l’emplacement du Calvaire, une tour de guet communiquait avec le château. De ce lieu stratégique, elle contrôlait la vallée et assurait la sécurité du château et du village. Pendant les guerres de religions, entre catholiques et protestants, le seigneur de Lincou, Pierre de Flavin, en était le propriétaire. Il avait adopté la religion réformée. Les historiens s'accordent pour dire qu'en représailles son château fut complètement détruit en 1586 par les armées du duc de Joyeuse.

 Au sommet du village, le Calvaire :

Du Calvaire, situé au sommet du promontoire, un panorama magnifique s’offre à vous, mais il faut grimper pour y arriver. Pour cela, à partir du bas du village, franchir le  vieux pont sur le Joret dont la partie inférieure a été busée par suite de la montée du niveau du Tarn lors de la construction du barrage de la Croux, en aval. Ensuite, à votre gauche, la calade, pavée de galets du Tarn, conduit au haut du village en longeant, dans sa partie supérieure, l'assise  de l'ancien château fort. Encore à gravir un petit chemin escarpé et rocailleux pour atteindre le Calvaire.