Al cim d’un turó que domina la Conca de Tremp, hi trobem un conjunt monumental que podria sintetitzar bona part de la vida medieval: el Castell de Mur i, a un centenar escàs de metres, la Col·legiata de Santa Maria de Mur. Aquests dos edificis són símbols del domini militar i espiritual d’un territori de frontera acabat de conquerir als musulmans. Unes terres que es trobaven sota la jurisdicció d’un dels noms propis del Pallars medieval: Arnau Mir de Tost.

L'estructura arquitectònica del castell és simple però molt singular i consta d'un perímetre murat, de planta en forma de vaixell, que disposa d'una única porta d'accés al sud. Es tracta d’una obra exemplar de l'arquitectura civil militar del segle XI, que conserva excepcionalment sencers els murs perimetrals.

Tota l'obra està construïda amb carreus petits i regulars, característics del primer romànic i es conserva, dins el recinte, la torre mestra de planta circular i uns 16 m d'alçada, dividida en quatre pisos i amb finestres espitllerades.