Мытарями в старину называли людей, собиравших пошлину с купцов за перевозку всех видов товаров, кроме хлеба. Если сказать на современный лад, то это таможенники. Первоначально плата взималась в натуральном выражении, к концу XVII века ее заменили на денежную.
Первый Мытный двор для сбора пошлины с помещениями для торговли конфискованными товарами, был деревянным. В 80-х годах XVIII века было построено каменное здание, которое в 1812–1813 годах перестраивается архитектором В. Стасовым. В течение XIX века оно неоднократно перестраивалось, в советские годы здесь располагалось Управление бытового обслуживания облисполкома, позже — производственные цеха масложирового комбината. В настоящее время находится далеко не в лучшем состоянии и требует реконструкции.
