La Casa Castellarnau es va construir a inicis del segle XV. A partir d'aquest moment i fins al segle XIX va ser la llar d'algunes de les famílies més influents de la ciutat. L'any 1542 hi va viure l'emperador Carles I durant la seva estada a Tarragona.

La casa conserva al seu interior estructures arquitectòniques de diverses èpoques. A la planta baixa s’hi observen tota una sèrie d'arcs apuntats datats entre els segles XIV i XV. De la mateixa època és el pati i l'escala de volta amb columnes i capitells gòtics. Durant el segle XVIII l'edifici fou adquirit per Carles de Castellarnau i sofrí importants canvis a la façana i en la seva distribució interna.

A la planta noble hi destaquen diverses estances amb mobiliari dels segles XVIII i XIX. L’espai més emblemàtic és el saló de ball, que presenta un sostre decorat amb pintures de temàtica mitològica realitzades pel pintor provençal Josep Bernat Flaugier a finals del segle XVIII.

A la planta baixa s’ha recuperat l’antiga cuina. Tanmateix, s'hi poden veure de forma permanent una mostra de la col·lecció Molas i Agramunt, un heterogeni conjunt de peces arqueològiques i etnogràfiques d'un ampli ventall cronològic; el llegat Quintana, del qual destaca una maqueta del primer avió que va sobrevolar la ciutat el 1913; i el fons del filòleg i crític madrileny Sánchez Camargo, adquirit per l'Ajuntament als anys seixanta. L'edifici acull les oficines administratives del Museu d'Història de Tarragona.