Durfort au Moyen-âge était un petit village fortifié appelé Castlar, éperon rocheux situé rive droite du Sor à l'entrée du Village en venant de Malamort. Ce n'est qu'à partir de 1357 que les Durfortois occupent le village actuel bâti au fond de la vallée. Il est probable que les habitants aient senti la nécessité de se rapprocher de leurs outils essentiels qu'étaient les moulins bâtis sur le Sor.
Jusqu'au XIXème siècle, 2 ressources principales font vivre le village. Il s'agit de l'industrie du Cuivre et de la terre. La première semble employer à peu près la moitié des travailleurs et se caractérise par les métiers de martineurs, de chaudronniers et de marchands chaudronniers.
La deuxième compte les laboureurs, les brassiers et le meuniers. Durfort n'a jamais possédé que quelques arpents de terre agricole ; on suppose que ces laboureurs travaillaient sur les terres de Sorèze.
Activité artisanale et commerçante : le travail du Cuir, du cuivre, de la vannerie, du verre, attirent les touristes tout le long de l'année. Depuis peu, il faut ajouter la confection de couettes et de sacs de couchage en duvet.