Fue en el año 1955 cuando un grupo de jóvenes provenientes del colegio La Salle Mirandilla de Cádiz, intentaban fundar una cofradía para dar culto a Nuestro Padre Jesús de la Oración en el Huerto.
Tras varias tentativas y obteniendo el no como respuesta por parte del Obispado de Cádiz, quedo dicho proyecto aparcado pero sin perder la idea de poder seguir algún día con el desarrollo de tan ilusionado proyecto.
El 16 de enero del año 1956 en la Iglesia parroquial de San José se constituye la Junta Organizadora de la Venerable Cofradía de Nuestro Padre Jesús de la Oración en el Huerto y Nuestra Señora de Gracia y Esperanza. siendo el Director Espiritual el Rvdo. Padre Camilo García Valenzuela, Párroco de San José. Al fundarse la Cofradía en la Parroquia de San José se elige como cotitular una Imagen dolorosa, advocación de los Dolores de extraordinaria factura y mirada a lo alto, que se venera en esta Iglesia, esta imagen recibiría la advocación de Gracia y Esperanza.
Esta antiquísima dolorosa propiedad de San José era obra anónima aunque se dice que la talla pudiera ser atribuida al célebre escultor Pedro de Mena, discípulo de Martínez Montañés. Data del segundo tercio del siglo XVIII y fue policromada por Francisco María Mortola en Cádiz quien entrega la imagen el 4 de Enero de 1760 según revela un documento encontrado en la cabeza de esta talla.
En 1965 se produce un cortocircuito en la Parroquia San José originándose un incendio desapareciendo dicha dolorosa. El día 21 de octubre de 1956 se expone al parroco Camilo García Valenzuela, que debido a los pocos medios de locomoción entre Puerta Tierra y Cádiz interior, es deseo de la Junta solicitar al Sr. Obispo el traslado a una Iglesia de Cádiz, la cual podría ser la Capilla del Beato Diego J. de Cádiz, traslado que se realiza el día 13 de Enero de 1957 celebrándose este mismo día la primera reunión, y nombrándose Director Espiritual al Rvdo. Don Abelardo Oliveira García