У другој половини XIV века, у области Авнежа, уз реку Сухону, на Авнешкој висоравни, населили су се пустињаци Стефан, ученик Сергија Радоњешког, и Григорије. Око 1370. године подигли су цркву и келије за монахе. Помагао им је имућни сељак по имену Константин Дмитријевич, који се касније и сам замонашио под именом Касијан и био постављен за келара нове обитељи, када је велики кнез Дмитриј Иванович Донски позвао Стефана у Москву.
Крајем XIV века обитељ је много страдала од најезда казанских Татара и људи из Вјатке. Током једне од тих најезда, 1392. године, убијена су оба подвижника, Касијан и Григорије. После њихове мученичке смрти, обитељ је потпуно опустела. Авнешки манастир остао је пуст 132 године, а место на којем се налазио потпуно је зарасло у шуму.
Након што је татарски јарам збачен, сељак по имену Гаврило искрчио је шуму на месту некадашње обитељи. Приметио је да једно место није изгорело и, раскопавши га, пронашао два ковчега. Тада му се јавио старац Григорије и заповедио му да на том месту подигне цркву.
На том месту подигнута је капела, а 1560. године Варлаам, игуман Манастира Свете Тројице, о царском трошку подигао је манастир крај почивалишта светих угодника. Манастир је 1764. године претворен у парохијску цркву. Њихове мошти је, по благослову митрополита Макарија, испитао вологодски епископ Јоасаф, након чега су положене под спуд у новом манастиру.
