Fue donde vivió Gutierre de Sotomayor y sus descendientes. Posteriormente el edificio pasó a ser propiedad del Ducado de Osuna.
Reconstruido en el siglo XVII. De sus fachadas destaca la que da hacia la plaza de España, por su portada de piedra con relieves, sus ventanas enrejadas, su balconada y por un gran arco que esconde en su interior un pasadizo que permitía acceder a otras dependencias del palacio situadas en la parte alta de la plaza.
En la actualidad se ha rehabilitado todo el edificio y alberga la Casa de la Cultura.