В 1925г. о.Сергий и матушка Елизавета переехали в с.Владычня, откуда была родом матушка. Они поселились в бревенчатом одноэтажном доме, в котором когда-то жил отец матушки протоиерей Владимир Исполатовский. Первое время о.Сергий не служил, но часто ходил молиться в Покровский храм, в котором стал служить с 1927г. Сразу же по приезде, а еще более после того, как он стал служить во Владычне, его стали посещать многие из его духовных детей. Среди окружающих он был известен как молитвенник и человек святой жизни. Люди стали обращаться к нему за помощью и некоторые по своей вере и молитвам праведника получали исцеления. Несмотря на пережитые узы и тяжелое время гонений о.Сергий продолжал подвизаться как духовник и проповедник. Он использовал отпущенное ему время для научения в вере, поддержки и просвещения ближних. Духовные дети привозили ему продукты и одежду, большую часть которых он раздавал нуждающимся

Из доносов (от 30 и 31 января 1930г.):
    "По своему общественному, умелому подходу к народу с религиозной стороны
     заслуживает особого внимания. Действует исключительно религиозным дурманом.
     Опирается на темноту, выгоняет бесов из человека.
     Особенно способен на проповеди, которые говорил по два часа.
     В своих выступлениях с амвона призывает на единение и поддержку Церкви,
     религиозных целей. Результаты таких проповедей налицо: деревня Гнездцы
     категорически отказалась от вступления в колхоз. Словом, священник Сребрянский
     является политически вредным элементом, который должен быть срочно изъят...
     Был случай, когда одного рабочего на станции Крючково зарезало поездом.
     Этим воспользовался Сребрянский, говоря, что тот не веровал в Бога и говорил,
     что "пусть меня накажет Бог, если Он есть", и за это его наказало...". Через несколько дней о.Сергий был арестован

Дело Д.Р-25286. ЦА ФСБ РФ. Следователи вызвали свидетелей, но даже их искаженные свидетельства показывали, что о.Сергий был для народа подлинным старцем и подвижником, по молитвам которого совершались исцеления многих недужных:
      "Священника Сребрянского знаю постольку, поскольку со всей округи к нему
       съезжаются крестьяне для получения исцеления от недугов. Эта тяга шла и
       тогда, когда он не служил в церкви, и приемы шли на дому".
      "Поп Сребрянский в округе слыл за святого человека, исцелителя, народ
       приезжал к нему на квартиру...".
Из протокола допроса второго священника Покровского храма:
      "...Народ его посещал... Однажды он рассказывал мне про чудо, совершившееся
       при вскрытии мощей свт.Митрофана Воронежского:
           "Один комиссар при вскрытии мощей взял икону Митрофана, каковую принес
            домой и бросил на пол, сказав квартирной хозяйке:
                   "Вот, вашего Бога бросаю, и Он меня не наказывает".
            И вдруг с ним сделалось плохо, заболел, стал просить, чтобы его
            отвели к мощам Митрофана, что и выполнили, и там он выздоровел"...
       Он рассказывал, что видел царя Николая во время открытия мощей прп.Серафима
       Саровского...
       Я читал его книжку о Русско-Японской войне, основная мысль которой была
       приучить народ к Вере, Царю и Отечеству...
       Он был очень хороший проповедник, но проповеди его касались исключительно
       религиозных вопросов...".
Из обвинительного заключения (составлено 23 марта 1930г.):
      "Обвиняемый Сребрянский... с дореволюционного времени по 1930г. имеет
       непрерывную цепь активной борьбы против революционного движения...
       Его книга "Дневник полкового священника... ярко рисует....обвиняемого как
       монархиста и его борьбу с революционным движением в 1905г.. Основную
       мысль, вложенную в книгу, можно охарактеризовать словами обвиняемого:
       "крепкая вера в святые принципы — вера, царь и святая родина"...
       Сребрянский призывал к беспощадной борьбе с революционерами:
           "Не будем не только слушаться крамольников, но, наоборот, постараемся
            образумить их, обличить, привлечь к послушанию Богу и царю...".
       Убийство князя Сергея Александровича революционером Каляевым вызвало бурю
       негодования со стороны обвиняемого...
       Революция в столице также вызвала нападки со стороны обвиняемого...
       Октябрьская революция в Сребрянском не произвела сдвигов...,
       В 1922г он усиленно поддерживает к/р воззвание Патриарха Тихона об укрытии
       церковных ценностей, за что был присужден Коллегией ОГПУ к высылке...
       Приехав в район сплошной коллективизации, Сребрянский в целях поднятия
       авторитета стал выдавать себя за "святого человека", толпы женщин стекались
       для излечения болезней...
       Обвиняется в том, что:
          Являясь сторонником монархического порядка управления, систематически
          вел а/с агитацию с целью срыва мероприятий, проводимых Советской властью
          в деревне, используя религиозные предрассудки масс...".
Виновным в предъявленных обвинениях о.Сергий себя не признал. Он был приговорен к 5 годам высылки в Северный край По данным [8]:
     "Вскоре он был арестован и приговорен к смерти. Сидел в камере смертников.
     ...Однако с выходом в 1927г. известной "Декларации" митрополита
     Сергия (Страгородского), где выражалась лояльность Церкви по отношению
     к Советской власти, что спасло жизнь многим священникам, расстрел отцу
     Сергию (Сребрянскому) был заменен ссылкой"

О.Сергия поселили в одной из деревень на р.Пинеге. Здесь жило много сосланного духовенства. Сюда к нему приехала матушка Елизавета и Мария Петровна Заморина (она знала о.Сергия еще в Орле, впоследствии приняла монашество с именем Милица). Положение ссыльных было тяжелым. Прошла коллективизация, крестьянские хозяйства были разорены. Выжить можно было лишь, если присылались посылки, но посылки доходили только в то время, когда по реке было пароходное сообщение, которое прекращалось на зимний период и на время, когда сплавлялся лес. Находился он на лесозаготовительных работах. Работал на ледянке — вел по ледяной колее лошадь, тащившую бревна. Эта работа хотя была легче пилки и рубки в лесу, но требовала большой ловкости и скорости. Здесь о.Сергий, матушка Елизавета и Мария Петровна жили в домике как маленькая монастырская община. Благодаря своей подвижнической жизни, постоянной молитвенной настроенности, духовным советам и умению утешать страждущих вскоре стал известен как глубоко духовный старец, которому многие поверяли свои беды, в молитвенное предстательство которого верили. Северная зимняя природа произвела большое впечатление на о.Сергия, он вспоминал:
     "Огромные ели, закутанные снежными одеялами и засыпанные густым инеем,...
      такая красота... и кругом необыкновенная тишина, чувствуется присутствие
      Господа Творца и хочется без конца молиться Ему и благодарить Его за все
      дары, за все, что Он нам посылает в жизни, молиться без конца...".
Несмотря на болезни (миокардит) и преклонный возраст, о.Сергий с помощью Божией выполнял норму. Когда ему приходилось корчевать пни, он делал это один и в короткое время. С начальством у него сложились благоприятные отношения. Все любили святого старца и неутомимого труженика, который со смирением воспринимал свою участь ссыльного. Детям он вырезал и склеил, а затем раскрасил макет паровоза с пассажирскими и товарными вагонами. Через два года ссылки из-за преклонного возраста, его болезней и за успешно выполняемую работу его решили освободить. Он был освобожден с лишением права проживания в Москве и Московской обл. В 1933г. о.Сергий с матушкой Елизаветой приехали в Москву, где смогли пробыть всего один день — простились с закрытой и разоренной обителью и выехали в с.Владычня Калининской (Тверской) обл., где у матушки Елизаветы были родственники