Изначально это здание, ставшее впоследствии Домом Экспедиции государственных доходов, строилось для графа Шувалова в 1760 году. Архитектором А. Кокориновым был разработан проект в стиле классицизма. В 1809 году дом подвергается перестройке под руководством архитектора Л. Руска, цокольный этаж трехэтажного здания был оформлен аркадой, фасады декорированы скульптурными панно с мифологическим сюжетом, но главным украшением, давшим второе имя зданию, стали четыре восьмиколонных портика с треугольными фронтонами. В обиходе его стали называть Домом с четырьмя колоннадами.
В середине XIX века дом стал принадлежать Министерству финансов, а в начале XX столетия здание переходит во владение Торгового общества «Григорий Бекенсон». В 1913 году во время частичной перестройки окна увеличили до витрин. После революции и по настоящее время здесь размещается множество различных организаций.