Petit-neveu du Ier duc d'Alcalá, il naquit à Séville le 10 mai 1583 dans une atmosphère familiale imprégnée du culte des lettres. Orphelin de père depuis l'âge de sept ans, il reçut néanmoins une éducation soignée, et montra bientôt une goût très prononcé pour les humanités. Il s'entoura ainsi, dans son palais sévillan, des meilleurs humanistes de la ville et, développant surtout son goût pour la peinture, il constitua une extraordinaire collection dans laquelle se détachait l'œuvre de José de Ribera, qu'il connut en étant vice-roi de Naples.