У другій половині XIV століття в Авнезькій волості, на березі річки Сухоні, на Авнезькій височині оселилися пустельники Стефан, учень Сергія Радонезького, та Григорій. Близько 1370 року вони збудували церкву та келії для ченців. Їм допомагав багатий селянин на ім’я Костянтин Дмитрович, який згодом і сам прийняв чернецтво під ім’ям Касіан і був призначений келарем нової обителі, коли великий князь Дмитро Іванович Донський покликав Стефана до Москви.
Наприкінці XIV століття обитель багато страждала від набігів казанських татар і вятчан. Під час одного з таких набігів, у 1392 році, обох подвижників було вбито. Після їхньої мученицької смерті обитель занепала. Занепад Авнезького монастиря тривав 132 роки, і місце, де він існував, повністю заросло лісом.
Коли татарське іго було скинуто, селянин Гавриїл вирубав ліс на місці колишньої обителі. Він помітив, що одне місце не згоріло, і, розкопавши його, знайшов дві труни. Йому з’явився старець Григорій, який наказав побудувати церкву на цьому місці.
На цьому місці було зведено каплицю, а в 1560 році ігумен Троїцького монастиря Варлаам на царські кошти збудував біля труни угодників монастир (у 1764 році його перетворили на парафіяльну церкву). Мощі їхні з благословення митрополита Макарія засвідчив єпископ Вологодський Іоасаф, після чого їх було покладено під фундамент нового монастиря.
