A partir de los años sesenta la Diputación de Tarragona fue adquiriendo un importante patrimonio artístico que no estaba al alcance de la ciudadanía. Por eso en 1976 creó el Museo de Arte Moderno, que tenía la finalidad de promover el estudio y el conocimiento del arte moderno y contemporáneo y, a la vez, conservar y mostrar estas colecciones.

La ubicación original escogida fue en la Casa Martí, una finca señorial del siglo XVIII en la parte alta de Tarragona. En 2008 el museo renovó su exposición permanente e inauguró un nuevo proyecto museográfico más moderno y didáctico.

El museo dedica unas salas en el Taller - Escuela de Pintura y Escultura que construyó la Generalitat republicana en Tarragona y la posterior Escuela Taller de Arte de la Diputación de Tarragona. También expone obras de artistas contemporáneos de los años ochenta de la zona como Bruno Gallart o Jaume Solé.

Una de las colecciones más importantes del museo es la del legado del escultor Julio Antonio. En la exposición permanente se pueden ver diversas facetas de su trabajo, haciendo hincapié en el Monumento a los Héroes de 1811, situado en la Rambla Nova de Tarragona. Otros representantes de la transición del siglo XIX al XX como Josep Tapiró también están presentes en la muestra.

Sin embargo, la obra más mediática del Museo de Arte Moderno de Tarragona lleva la firma de Joan Miró. Es el Tapiz de Tarragona, un proyecto de grandes dimensiones que el pintor hizo conjuntamente con Josep Royo. Miró regaló este tapiz en 1970 al Hospital de la Cruz Roja de Tarragona, dirigido entonces por Rafael Orozco, en agradecimiento a las atenciones que este médico ofreció a su hija. Cuando cerró esta institución la obra se cedió al museo donde ocupa un lugar de honor.