Mandado construir por Don Gutiérre de Cárdenas, tomando como modelo el Palacio de Ocaña y emplazado en la antigua plaza del mercado y actual Plaza de España con una superficie de unos 8.050 metros cuadrados. De arrogante portada gótica y magníficos salones mudéjares, y añadiendo el estilo renacentista en sucesivas reformas llevadas a cabo por sus herederos.
Tras su compra por particulares a principio del siglo XX y puestas a la venta todas sus riquezas, en Torrijos no quedó casi nada del palacio, viajando sus pertenecías a los lugares más diversos: en la finca “El Alamín”, en el término de Santa Cruz de Retamar, se conserva la portada principal y un artesonado; en Oropesa (Toledo) don Platón Páramo compró uno de los artesonados de los cuatro salones, en concreto el que se encuentra hoy en día en el museo Arqueológico Nacional, así como la portada de acceso al Salón Liceo, yeserías y paneles de cerámica; los otros tres artesonados pertenecientes a los salones cuadrangulares se encuentran uno en el Museo Young Memorial de San Francisco (USA), otro en el Victoria and Albert Museum de Londres, y el tercero, denominado “la Martina”, en el castillo de Villandry, en el Loira (Francia).
