Na cześć temu zdarzeniu nad strugą przy drodze wiodącej do Grabowa mieszkańcy wsi zbudowali skromną kapliczkę, a później drewniany kościółek, w którym ustawiono cudowny obraz. Zewsząd przybywały pielgrzymki, aby Matce Najświętszej oddać należytą cześć. W kościółku tym obraz pozostał przez blisko sto lat, do czasu, kiedy, jak opiewa podanie ludowe obraz kilkakrotnie znikał i ukazywał się w innym, tym samym miejscu, którym w latach 1681-83 wybudowano nowy kościół, piękny i murowany, tak jak go dzisiaj widzimy.
Obok kościoła znajdowały się gmachy klasztorne Ojców Paulinów, którzy przybyli tu z Częstochowy w 1684 r. To oni zapoczątkowali złoty wiek rozwoju parafii i Sanktuarium Maryjnego. Topolno było najbardziej wysuniętą na północ placówką Ojców Paulinów i zarazem jedyną na Pomorzu. Do 1772 r. bywało od 6 do 8 a nawet 12 zakonników. W 1811 r. klasztor został zniesiony przez rząd pruski, zakonnicy po części wrócili do Częstochowy, częściowo wymarli (ostatni zakończył życie w 1818 r.).
Od 1821 roku opiekę nad kościołem sprawują księża.