После освобождения служил в кладбищенской церкви. 16 апреля 1937г. в Великий Четверг, кладбищенская церковь, единственная в городе, была передана обновленцам

О.Иоанн был вызван в НКВД, и ему было предложено в 10-дневный срок покинуть город. Прощание о.Иоанна с его паствой состоялось в Прощальное Воскресение. 7 марта н.ст. батюшка выехал из города, не ведая, где он может получить пристанище. Побывал в г.Ромны, г.Чернигове, где его не приняли. Заболел гриппом в дороге. Наконец, ему удалось остановиться в Лубнах Полтавской обл.

Голодал, страдал от холода. Зарабатывал на жизнь разными работами, копал огороды у жителей и т.д.