Когда-то Каменный остров пользовался популярностью у питерской знати — здесь строили загородные дома и дачи, тогда были в моде неоклассицизм и модерн, поэтому нередко в этом месте можно встретить достаточно оригинальные здания. Но даже среди них особо выделятся дом швейцарского подданного Эдуарда Фолленвейдера, руководителя портновской мастерской, поставщика государева двора и совладельца торгового дома «Ганри». Дом в стиле модерн с элементами неоготики был спроектирован в 1905 году архитектором Мельтцером, здание привлекает внимание не только своей необычной архитектурой, более характерной для стран Скандинавии, но и ярким сочетанием белоснежных стен и красной черепичной крыши. В народе у него даже появилось два негласных названия — «Терем» — так именовали из-за высокой крыши и «Сахарная голова» — за необычайную белизну штукатурки. Весь дом будто составлен из различных по высоте и размером объемов — башенок, балкончиков, высоких труб над крышей, это разнообразие великолепно дополняют многообразные по форме окна.
В советские годы здесь располагался санаторий, также дом неоднократно фигурировал в фильмах. После распада Советского Союза в доме Фолленвейдера находилось посольство Дании, теперь же здесь планируется открыть гостиницу.
Согласно одной легенде, напротив южного берега Каменного острова, на дне Невы, лежал исполинский камень, возвышавшийся над водой, как скала. Отсюда и возникло название острова.
Еще в XVIII веке Каменный остров облюбовали власть имущие: здесь возникла резиденция великого князя и дачи столичной элиты. Именно поэтому на острове были задействованы лучшие петербургские зодчие того времени: Юрий Фельтен, Тома де Томон и другие.
В начале XIX века остров стал центром светской жизни, и здесь построили летний театр, который потом несколько раз реконструировался и сегодня является дополнительной площадкой Большого драматического театра имени Товстоногова (БДТ). Одним из наиболее ярких архитектурных памятников острова считается особняк Фолленвейдера, построенный в стиле северного модерна в 1905 году по проекту архитектора Мельцера. До 2010 года там располагалось консульство Дании, потом здание продали в частные руки.
В советское время на острове возникло множество медицинских учреждений, есть они там и сейчас. В XXI веке большой интерес к острову проявило Управление делами президента, поэтому часть островной территории теперь закрыта.
Зато всегда открыт небольшой, но очень уютный и живописный парк, который так и называется «Каменный остров». Он расположен между двумя улицами: 1-я Березовая аллея и 2-я Березовая аллея.