Considerado el primer edificio renacentista de la ciudad, fue construido a mediados del siglo XVI por Fernando de la Riva-Herrera, proveedor de la Real Armada, remodelando una antigua torre medieval.

La construcción del edificio aprovecha una torre cúbica de tres pisos, que fue remodelada con parapetos cilíndricos. En ella se abren varios ventanales y se le añadieron los escudos, así como un remate en forma de cornisa con gárgolas. A la torre se le adosa un cuerpo horizontal de dos pisos, en cuya fachada se ubica un pórtico de dos arcos escarzanos divididos por una columna, que da paso al zaguán. En la zona Norte se ubica una capilla con bóveda de crucería y motivos heráldicos en las claves. El conjunto se completa con una cerca murada y almenada, en cuyo frente hay una portalada flanqueada por dos cubos cilíndricos almenados con el escudo de armas de los Riva-Herrera y Alvarado. En este palacio se alojó el Duque de Medina-Sidonia, Almirante de la “Armada Invencible”, a su regreso del desastre naval que supuso la aniquilación de la escuadra.