11 января 1719года Гагарина уволили от должности губернатора с приказом держать его под караулом. В Сибирь был отправлен майор Лихарев с поручением собрать сведения о злоупотреблениях Гагарина. Лихарев составил реестр нарушений, в котором были: занижение реальных доходов губернии, взятки за винный и пивной откуп, вымогательства, угрозы купцам, присвоение казённых средств и т. д. Кроме экономических преступлений Гагарин обвинялся в том, что он задерживал почту,
О так Гагарин в сравнении с шепетовкой белый и пушистый..взятки только за пиво...не то что сейчас.. размах совершенно другой. Да и крал один, а тут всех подписали,чтоб на каждом шагу и чтоб все обирали...Целую вертикаль превратили в доильный аппарат. Оказывается не на дереве а возле здания новой биржи, той самой, вид на которую за взятки изуродовали каким то убожеством..здания очередной новой биржи... На саму биржу требуется комнатёнка, но под предлогом биржи было выстроено совсем безобразное здание. Если раньше в город приглашали лучших архитекторов, то шепетовка довольствуется самыми низкопошибными проектами (низкого пошиба), лишь бы отмуслякали мзду.