Паломник, посетивший Саровскую пустынь в начале нынешнего века, писал: «С западной стороны монастыря, уже вне стен его, стоит небольшая каменная златоглавая церковь во имя Всех Святых. Церковь эта построена позднее всех других (в 1834 году). Она изящной архитектуры, внутренняя живопись стен и резной иконостас придают этой церкви светлый, веселый характер, хотя и не весело ее место, она помещена в ограде, служащей тихим пристанищем почивших о Господе братий обители и скончавшихся странников-богомольцев». Многие церкви при монастырских кладбищах посвящались всем святым. Не отошли от этой традиции и в Саровской пустыни. Здание кладбищенской церкви было построено в 1832-1833 годах. Церковь строилась на деньги благотворителей. Среди людей, давших деньги на строительство, значатся купцы из Москвы, Ростова, Орла, Великого Устюга и других городов. Церковь освятил 3 июля 1834 года епископ Тамбовский и Шацкий Арсений. Кладбище, на котором хоронили как монахов, так и мирян, располагалось к западу от здания церкви и называлось Всехсвятским. В 1860 году церковь вместе с кладбищем была обнесена каменной оградой. В начале 1890-х годов в церкви были сложены печи и сделаны двойные рамы. Иконостас внутри был одноярусный, украшенный позолоченной резьбой, длиной 5 аршин (3,5 м)