После освобождения служил в кладбищенской церкви. 16 апреля 1937г. в Великий Четверг, кладбищенская церковь, единственная в городе, была передана обновленцам
О.Иоанн был вызван в НКВД, и ему было предложено в 10-дневный срок покинуть город. Прощание о.Иоанна с его паствой состоялось в Прощальное Воскресение. 7 марта н.ст. батюшка выехал из города, не ведая, где он может получить пристанище. Побывал в г.Ромны, г.Чернигове, где его не приняли. Заболел гриппом в дороге. Наконец, ему удалось остановиться в Лубнах Полтавской обл.