В ноябре 1924г. приехал в Москву, оставаясь епископом Иваново-Вознесенским. Жил в Москве на Пироговской ул., в подвальном помещении под церковью Архангела Михаила. 12 апреля 1925г. принимал участие в погребении Святейшего Патриарха Тихона. Подписал акт о передаче высшей церковной власти митрополиту Крутицкому Петру (Полянскому). Затем вернулся в Иваново-Вознесенск

Местные власти опять потребовали, чтобы епископ покинул город, и ему пришлось уехать в Кинешму

Епископу пришлось жить и служить то в Кинешме, то в Москве. Среди москвичей у него появилось много духовных детей — люди чувствовали высокий духовный настрой епископа и шли к нему за помощью и советом. В Иваново епископ Августин приезжал служить лишь в большие праздники, когда православным удавалось добиться разрешения на служение епископа. Православные г.Иваново-Вознесенска стали добиваться возвращения в город своего архиерея. Было собрано множество подписей, в том числе среди рабочих. Верующие отправили своих представителей во ВЦИК, и им удалось добиться отмены незаконного решения ГПУ о высылке епископа Августина из Иваново-Вознесенска. Владыка вернулся в Иваново-Вознесенск

Главным храмом, где служил епископ Августин, был Покровский монастырский собор. Служил он часто и за каждой литургией после чтения Евангелия говорил проповедь. Владыка любил уставное богослужение, неспешное пение и чтение, чуждое духа театральности. После литургии он всегда сам давал крест и всех благословлял, запрещая торопить тех, кто хотел поговорить с ним. Иногда он выходил из храма только через два часа после окончания службы. Когда же он объезжал епархию, люди узнавали заранее, где он будет служить и ехали туда, невзирая на расстояние К ближним он был очень терпелив и добр, и, несмотря на свой высокий сан, смирялся перед каждым, даже перед нищими. Жил он с дочерьми, келейником Борисом Семеновым и няней Анисией Ефимовной. Быт его был очень скромным. Владыка отказывался от всего, кроме самого необходимого. Имел только одну одежду, да и ту выбирал не сам, а носил, что давали. Иной раз верующие приносили ему продукты или цветы, но он все раздавал посетителям, оставив своим детям лишь несколько конфет или яблок. Если же в доме оставались какие-то гостинцы, то он откладывал их — на случай, если придет еще какой-то проситель или странник. Нередко к епископу приезжали духовные дети из других городов, и он оставлял жить их у себя в доме. По благословению Владыки в городе были организованы религиозные кружки для детей. В одном из них, руководимом молодой учительницей Ларисой Николаевной Гладцыновой (впоследствии арестованной и высланной), занимались и его дочери. Любовь народа к епископу приводила в ярость местных безбожников

Осенью 1926г. начальник Иваново-Вознесенского ГПУ отправил донесение Тучкову, прося разрешения на высылку Владыки за пределы области: "Наглая уверенность Беляева в неприкосновенности вылилась в новые формы работы для создания нелегальных кружков пока не оформленных христиан, имеющих целью завлечь и возвратить в "лоно Церкви" детей вообще, и детей коммунистов в частности, в возрасте 13–16 лет. Работа по вербовке и наставничеству проводится монашенками Покровского монастырского собора... Указанные факты являются вопиющим требованием на немедленное удаление Беляева из пределов губернии навсегда".
Тучков распорядился арестовать епископа Августина и под конвоем доставить в Москву, в Бутырскую тюрьму

Из обвинения:
    "С целью "возвращения в лоно Церкви" у себя на дому организовал
     нелегальный кружок, где преподавал детям, не достигшим совершеннолетия,
     Закон Божий, организовал нелегальную [т.е. не зарегистрированную]
     епархиальную канцелярию".
Сразу же после ареста епископа верующие стали собирать подписи и хлопотать о его освобождении, но усилия их оказались тщетными. Тогда во всех храмах города Иваново-Вознесенска произвели сбор денежных средств для Владыки и других ссыльных священнослужителей. В ответ на это власти арестовали всех организаторов сбора подписей и средств за "организацию не санкционированного властями Красного Креста"

Время отправки в Среднюю Азию стало известно заранее, и проводить Владыку приехали на Казанский вокзал многие из его духовных детей из Москвы и Иваново-Вознесенска. Когда заключенных погрузили в поезд, женщины упросили конвоиров разрешить епископу проститься со своими дочерьми, и он смог выйти из вагона и благословить их

В комнате, где жил епископ в ссылке, устроили домашнюю церковь, в которой он служил сам и куда приходили помолиться ссыльные. Из ссылки он посылал письма духовным детям, и они вместе их читали и отвечали на них. Среди чад его было много подростков, и им епископ писал отдельно: "Верю, что если мое пребывание среди вас было добрым семенем, то эти добрые семена в вас не умрут... Если скоро прибегнете к покаянию и не убедите совесть грызущую, то не впадете в грех отрицания Бога, а если усыпите совесть, помиритесь с услаждающим вас пороком, то обязательно впадете в большой грех... Блюдите же чистоту одежды своей души"
Был освобожден из ссылки в марте 1930г. По окончании ссылки ему было запрещено проживание в шести крупных городах СССР, а также в Ивановской обл. с прикреплением к определенному месту жительства. Заместитель Местоблюстителя митрополит Сергий назначил епископа служить на Алма-Атинскую кафедру, но местные власти запретили ему жить в Алма-Ате. Тогда Владыку направили на кафедру в Сызрань