В начале 1938 года старец Иосиф вместе с отцом Арсением присмотрели для себя заброшенную каливу в Скиту Малой Святой Анны, в пещерах под скалистым обрывом. Здесь им было суждено прожить в течение следующих 30 лет.
Монахи отремонтировали часовенку Святого Иоанна Предтечи и построили из дерева, прутьев и глины хижину, разделявшуюся на 3 кельи: для отца Иосифа, Арсения и для приходящего иеромонаха.
Со временем к отшельникам присоединились новые ученики; среди них был и старец Ефрем Аризонский.