С территории Дальних пещер вдоль галереи, которая ведет от Дальних к Ближним пещерам и была построена для перехода богомольцев во время ненастья, можно спуститься к оврагу, отделяющему Дальние пещеры от Ближних. Крутой склон, который ограничивает двор Ближних пещер с юга и востока, на протяжении XVIII в. находился под угрозой оползней. В середине XVIII века Данил Дебоскет укрепил косогор террасами, а в 1781 г. работы "по укреплению горы" осуществлялись по проекту инженера генерал-майора Тучкова.» Спустя некоторое время, по проекту военного инженера Шарля де Шардона, возведена ныне существующая подпорная стена. В юго-восточном ее углу устроен мощный полукруглый контрфорс, а под ним — колодец для сбора грунтовых и ливневых вод, из которого они отводились в Днепр. В XIX в. с подворья Ближних пещер была построена лестница, которая ведет к колодцам преподобных Антония и Феодосия.