Храм Всех Святых до закрытия в 1927 году Свято-Успенского мужского монастыря — Саровской пустыни был кладбищенским и находился за территорией монастыря. Он был освящен 3 июля 1834 года епископом Тамбовским и Шацким Арсением. Западнее храма находилось Всехсвятское кладбище для монахов и мирян (сейчас там установлен деревянный поклонный крест). В 1860 году церковь и кладбище были обнесены каменной оградой. Со временем под могилы был отведен еще один участок земли и тоже огражден (позднее там были построены корпуса гостиниц из красного кирпича). В начале 1890-х гг. к храму пристроили южный притвор, сам храм сделали «теплым» или зимним.

В советское время храм был переоборудован в столовую для колонистов, а во время Великой Отечественной войны — превращен в магазин. После 1946 года в здании церкви размещался ресторан, а затем — хозяйственный магазин. 12 июля 1992 года здание передали православному приходу, а 6 февраля 1993 года храм освятил митрополит Нижегородский и Арзамасский Николай (Кутепов). Храм Всех Святых стал первым восстановленным в Сарове после 66-летнего периода безбожия.

В храме Всех Святых — единственном в Сарове — сохранились уникальные росписи мастеров арзамасской Ступинской школы. Их реставрация была проведена в 2023 году.

Протоиерей Александр Брюховец: «Мы свидетели того, как в этом храме зародилась духовная жизнь и распространилась на весь город. Из нашей церковной общины вышли священники, монахи и монахини, игумены, которые растеклись по всей нашей Родине. А некоторые несут свое служение и за рубежом, вспоминая добрым словом нашу общину...»