La Casa Castellarnau se construyó a inicios del siglo XV. A partir de este momento y hasta el siglo XIX fue el hogar de algunas de las familias más influyentes de la ciudad. En el año 1542, durante su estancia en Tarragona, vivió en ella el emperador Carlos I.

La casa conserva en su interior estructuras arquitectónicas de diversas épocas. En la planta baja se halla una serie de arcos apuntados datados entre los siglos XIV y XV. De la misma época es el patio y la escalera de bóveda con columnas y capiteles góticos. Durante el siglo XVIII eledificio fue adquirido por Carles de Castellarnau y sufrió importantes cambios en la fachada y en su distribución interna.

En la planta noble destacan diversas estancias con mobiliario de los siglos XVIII y XIX. El espacio más emblemático es el salón de baile, que presenta un techo decorado con pinturas de temática mitológica realizadas por el pintor provenzal Josep Bernat Flaugier a finales del siglo XVIII.

En la planta baja se ha recuperado la antigua cocina. Asimismo, poden verse de forma permanente una muestra de la colección Molas i Agramunt, un heterogéneo conjunto de piezas arqueológicas y etnográficas de una amplia cronología, el legado Quintana, del cual destaca una maqueta del primer avión que sobrevoló la ciudad en 1913, y el fondo del filólogo y crítico madrileño Sánchez Camargo, adquirido por el Ayuntamiento durante la década de los sesenta. El edificio alberga las oficinas administrativas del Museu d'Història de Tarragona.