Во второй половине XIV века в Авнежской волости, по реке Сухоне, на Авнежской возвышенности поселились отшельники Стефан, ученик Сергия Радонежского, и Григорий. Около 1370 года они поставили церковь и кельи для иноков. Им помогал богатый селянин по имени Константин Дмитриевич, который затем и сам постригся в монахи с именем Кассиан и был поставлен келарем новой обители, когда великий князь Дмитрий Иванович Донской вызвал Стефана на Москву.
В конце XIV века обитель много терпела от набегов казанских татар и вятчан. В один из таких набегов, в 1392 году, были убиты оба подвижника - Кассиан и Григорий. После их мученической смерти обитель пришла в полное запустение. Запустение Авнежского монастыря продолжалось 132 года, и место, где он существовал, полностью заросло лесом.
Когда татарское иго было свергнуто, крестьянин Гавриил вырубил лес на месте бывшей обители. Он заметил, что одно место не сгорело, и, раскопав его, нашел два гроба. Ему явился старец Григорий, велевший построить церковь на этом месте.
В этом месте была поставлена часовня, а в 1560 году игумен Троицкого монастыря Варлаам на царское иждивение построил у гроба угодников монастырь (в 1764 году был преобразован в приходскую церковь). Мощи их по благословению митрополита Макария свидетельствовал епископ Вологодский Иоасаф, после чего они были положены под спуд нового монастыря.
