Le fort de Morlhon, berceau de la famille de Morlhon, est situé près de l’ancienne route royale, sur une élévation au rebord du plateau rocheux du Ségala, dominant la vallée de l’Aveyron et sa faille nord-sud, face au soleil couchant. Ozil II de Morlhon étant soupçonné d’être du parti des Albigeois et d’utiliser son château comme refuge d’hérétiques cathares, celui-ci fut détruit et brûlé en 1214 par une petite troupe envoyée par Simon IV de Montfort. En 1224, son héritier Pons de Morlhon, chevalier, transigeait avec Milon, évêque de Rodez, au sujet de la juridiction du château de Morlhon, en présence de Géraud de Balaguier, Raymond de Belcastel, Arnaud de Cardaillac, Guillaume Gasc, Aimeric de Cassagnes, chevaliers. En 1249, son fils Milon de Morlhon, reconnaît tenir en fief de l’évêque de Rodez le château de Morlhon. Puis, dans le même acte, il vend ledit château pour 12 000 sous rodanois à l’évêque Vivian qui n’en prendra possession que plusieurs années après. En 1260, l’évêque de Rodez était devenu le seul propriétaire du site et du château.
Le château fut occupé par les Anglais de 1360 à 1368, puis par les Routiers. Remis en état en 1466, puis à nouveau en 1562, il subit, semble-t-il, un nouvel incendie au XVIIe siècle et fut abandonné en ruine.
