În a doua jumătate a secolului al XIV-lea, în ținutul Avnej, de-a lungul râului Suhona, pe înălțimile Avnejului, s-au așezat sihaștrii Ștefan, ucenic al lui Serghie de Radonej, și Grigorie. În jurul anului 1370, ei au ridicat o biserică și chilii pentru monahi. Erau ajutați de un țăran înstărit pe nume Constantin Dmitrievici, care mai târziu a fost tuns în monahism cu numele Casian și a fost numit chelar al noii mănăstiri, atunci când marele cneaz Dmitri Ivanovici Donskoi l-a chemat pe Ștefan la Moscova.
La sfârșitul secolului al XIV-lea, mănăstirea a avut mult de suferit din cauza năvălirilor tătarilor din Kazan și ale oamenilor din Viatka. În timpul uneia dintre aceste năvăliri, în anul 1392, au fost uciși amândoi nevoitorii, Casian și Grigorie. După moartea lor mucenicească, mănăstirea a ajuns în deplină părăsire. Mănăstirea Avnej a rămas pustie vreme de 132 de ani, iar locul pe care se aflase a fost acoperit în întregime de pădure.
După înlăturarea jugului tătar, un țăran pe nume Gavriil a defrișat pădurea de pe locul fostei mănăstiri. El a observat că un anumit loc nu arsese și, săpând acolo, a găsit două sicrie. I s-a arătat bătrânul Grigorie, care i-a poruncit să ridice o biserică în acel loc.
Acolo a fost ridicat un paraclis, iar în anul 1560 Varlaam, egumenul Mănăstirii Sfintei Treimi, a construit, pe cheltuiala țarului, o mănăstire lângă locul de odihnă al cuvioșilor. În anul 1764, mănăstirea a fost transformată într-o biserică parohială. Cu binecuvântarea mitropolitului Macarie, moaștele lor au fost cercetate de episcopul Ioasaf al Vologdei, după care au fost așezate sub pardoseala noii mănăstiri.
