Nel 1900, in seguito ad una serie di sogni nei quali si dice apparisse la Madonna, furono iniziati degli scavi, che furono osteggiati dalle autorità prefettizie di S. Angelo dei Lombardi, ma la popolazione, continuò a scavare, aiutata dai numerosissimi pellegrini che venivano da tutte le parti del Sud Italia.
Finalmente fu costruita una chiesetta che ancora oggi è meta di pellegrinaggio. Nei tempi passati non c’era il ponte sull’Isca, ma solo un guado: quindi, quando durante il pellegrinaggio pioveva e il torrente si ingrossava, i contadini trasportavano le donne morresi a cavalcioni da una parte all’altra del torrente. La chiesa fu restaurata già subito dopo il terremoto del 1980. Attualmente il campanile è stato restaurato dalla ditta Cipriani, di Trevico.
Verso l’inizio del 1900 fu composta una canzone che racconta la storia della Madonna di Montecastello