Когда-то в этом здании во время своего обучения в Упсале жили сыновья Короля Оскара I – Принцы Карл, Гарфилд, Оскар и Август. В 1864 году дом перешёл во владение Оскара II, и теперь в доме жили уже его сыновья – Принцы Густав, Карл, Оскар и Эуген. Собственно поэтому дом и носит такое название. После этого дом перешёл в частное владение.
Само здание было построено в 1837 году и на сегодняшний момент имеет площадь примерно 650 квадратных метров. В конце 20-го века здесь прошли масштабные ремонтные работы, как снаружи, так и внутри. Кухня и обои на стенах были подобраны в старом стиле, отображающем стиль 19-го века.