El monasterio de la victoria se comenzó a construir en 1504.La obra fué patrocinada por los señores de la Cerda y duques de medinaceli, entonces señores juridiccionales de la ciudad, para destinarla como panteón familiar.El edificio conventual fué entregado enseguida a la recién creada orden de frailes mínimos de san francisco de Paula.
Su construcción pasó por varias etapas y a lo largo de los siglos se ha destinado a usos diferentes, pero siempre a sido para uso urbanísticos destacados y a gozado de especial significación en la historia de El Puerto.Esto ha propiciado que el Monasterio de la Victoria haya estado bien representado en la cartografía histórica.
Desde su fundación el monasterio a tenido varios usos y conocidos importantes acontecimientos:un primer destino como panteón ducal de los Medinaceli, su etapa conventual, la invasión anglo-holandesa de 1702, la riada que siguió al terremoto de 1755.
En este mismo s.XVIII fue sede de estudios teológicos y artísticos y en el s.XIX sufrió la invasión napoleónica, en que fué expoliado y la posterior secularización debido a la desamortización de Mendizábal.Fué seminario y noviciado jesuita, hospicio, albergue y hospital de heridos de guerra.En 1880 estaba a la espera de un nuevo uso barajandose varios, hasta que en los primeros años del s.XX,fue ya utilizado como penal.
.
