Al final del frondoso paseo de la Soledad, nos encontramos esta ermita, que da cobijo a la Virgen de la Soledad (Patrona de la Puebla), y alberga el primoroso retablo donde se encuentra la imagen, realizado, por José Minguet en 1799.
Se levantó junto a la antigua ermita de San Sebastián (hoy desaparecida) en los años 1733-1743.
Se trata de un edificio de ladrillo y algo de sillería, rematado por un bello chapitel terminado en una impresionante aguja.
Son notables las pinturas al fresco del retablo del altar mayor, representando mármoles y jaspes; las que decoran las pechinas representando a las mujeres del Antiguo Testamento: Judit, Ester, Abigail y Raquel, y la que existe en el coro, que representa a Jhael dando muerte al general canaco Sisara. Estas pinturas fueron realizadas por los hermanos Luís y Alejandro Velázquez en 1741. En la hornacina del retablo del altar mayor se venera la imagen de la Virgen de la Soledad.
En esta ermita se conservan dos cuadros de José de Ribera (uno de ellos son «Las lágrimas de San Pedro»), y una colección de cuadros de cobre.
Asimismo destaca el Cristo yacente, conocida por el Santo Sepulcro, efigie de talla pintada del siglo XVII, y otras dos tallas representando a Cristo atado a la columna, y a la Virgen de la Piedad.