В 1894 году французский купец Эрнест Игель выкупил у князя Вяземского участок с деревянным особняком, где открыл ресторан, над именем которого, судя по всему, он долго не размышлял, назвав его «Эрнест». Через нескольких лет архитекторами А. Ковшаровым и Б. Зонном на месте деревянного был построен каменный особняк, добавились новые строения, объединенные общим архитектурным стилем. Особняк представляет собой классический образец эклектики — здесь просматриваются черты неоренессанса, необарокко и неоклассицизма. Большие окна нижнего этажа в главном доме имели полукруглые завершения, фасады были украшены пилястрами, четырехгранными куполами и ризалитами по бокам.
После революции здесь был открыт Дом пролетарской культуры, позже размещались культурные и государственные учреждения, до недавнего времени здание принадлежало Центру международных гуманитарных связей. Богатые интерьеры особняка прекрасно сохранились до наших дней, а вот фасады находятся в аварийном состоянии.