О.Сергия поселили в одной из деревень на р.Пинеге. Здесь жило много сосланного духовенства. Сюда к нему приехала матушка Елизавета и Мария Петровна Заморина (она знала о.Сергия еще в Орле, впоследствии приняла монашество с именем Милица). Положение ссыльных было тяжелым. Прошла коллективизация, крестьянские хозяйства были разорены. Выжить можно было лишь, если присылались посылки, но посылки доходили только в то время, когда по реке было пароходное сообщение, которое прекращалось на зимний период и на время, когда сплавлялся лес. Находился он на лесозаготовительных работах. Работал на ледянке — вел по ледяной колее лошадь, тащившую бревна. Эта работа хотя была легче пилки и рубки в лесу, но требовала большой ловкости и скорости. Здесь о.Сергий, матушка Елизавета и Мария Петровна жили в домике как маленькая монастырская община. Благодаря своей подвижнической жизни, постоянной молитвенной настроенности, духовным советам и умению утешать страждущих вскоре стал известен как глубоко духовный старец, которому многие поверяли свои беды, в молитвенное предстательство которого верили. Северная зимняя природа произвела большое впечатление на о.Сергия, он вспоминал:
     "Огромные ели, закутанные снежными одеялами и засыпанные густым инеем,...
      такая красота... и кругом необыкновенная тишина, чувствуется присутствие
      Господа Творца и хочется без конца молиться Ему и благодарить Его за все
      дары, за все, что Он нам посылает в жизни, молиться без конца...".
Несмотря на болезни (миокардит) и преклонный возраст, о.Сергий с помощью Божией выполнял норму. Когда ему приходилось корчевать пни, он делал это один и в короткое время. С начальством у него сложились благоприятные отношения. Все любили святого старца и неутомимого труженика, который со смирением воспринимал свою участь ссыльного. Детям он вырезал и склеил, а затем раскрасил макет паровоза с пассажирскими и товарными вагонами. Через два года ссылки из-за преклонного возраста, его болезней и за успешно выполняемую работу его решили освободить. Он был освобожден с лишением права проживания в Москве и Московской обл. В 1933г. о.Сергий с матушкой Елизаветой приехали в Москву, где смогли пробыть всего один день — простились с закрытой и разоренной обителью и выехали в с.Владычня Калининской (Тверской) обл., где у матушки Елизаветы были родственники