El adelantado Per Afán de Ribera compra en 1398 el castillo a sus dueños. La familia Enriquez de Ribera y en especial Fadrique Enriquez de Ribera, primer duque de Tarifa, lo restaura y convierte en palacio plateresco en el siglo XVI y para ello contrata a artistas españoles e italianos.
El Palacio de los Ribera es una verdadera joya del plateresco que conservamos en nuestra provincia. Yo he tenido la ocasión de visitarlo y, aunque no he podido visitar la parte edificada del conjunto a causa de estar esta en restauración, si he podido visitar sus jardines y os digo que mereció la pena.