Edificado en el año 960 a.C, por orden del califa Abderramán III, se levantó sobre las ruinas de un posible campamento militar romano.
Recientes excavaciones arqueológicas efectuadas en el Castillo han descubierto la existencia de vestigios de la Edad de Bronce, época Púnica, Ibérica, así como del alto y bajo Imperio Romano desde su etapa inicial republicana.
Tras la conquista cristiana por el rey Sancho IV El Bravo en 1.294 se produce el acontecimiento que ha dado renombre mundial a Tarifa: La actitud heroica de Guzmán El Bueno, el cual prefirió sacrificar a su hijo antes de entregar a los musulmanes el Castillo que el Rey le había confiado.
Cada fase histórica ha ido marcando su impronta en la ciudad y el aspecto actual del Castillo es la consecuencia de la acumulación de defensas ( puertas, torres, barbacanas y las covachas), así como los del carácter palaciego que en algunos aspectos va adquiriendo desde el Siglo XIV y durante la época en la que perteneció al Marqués de Tarifa en el Siglo XVI.
EL Castillo ha seguido teniendo estructura militar durante un milenio, hasta que en el año 1.989 pasó a manos civiles. En este mismo año se inicia las obras de restauración y acondicionamiento para su visita pública, que continúan en la actualidad.
