В 1653 году государственный канцлер Аксель Густафсон Оксеншерна начал строительство Дворца - напротив Королевского замка. Дворец был спроектирован Jean de la Vallée в Старо-Ренессансном стиле. После его смерти в 1654 году , работы по строительству дворца были приостановлены , и только южное крыло было достроено. Это та часть Дворца, которую м можем видеть сегодня. В 1668-1680 дворец использовался, как первый офис Швецкого Национального Банка - Swedish National Bank (The worlds first National Bank), до того как он переехал на Järntorget.
Если Вы посмотрите на дворец, то сможете заметить что каждый следующий этаж ниже предыдущего, такой стиль называется Меззанин (Mezzanine). Также можно заметить что в верхушке каждого окна видно яблоко - the Globus cruciger (Королевский Символ). Таким образом был подчеркнут высокий статус Государственного Канцлера.
Аксель Оксеншерна (Axel Oxenstierna) добивался установления гегемонии Швеции на Балтийском море. Заключил Кнередский мир с Данией и Столбовский мирный договор с Россией. На его счету было много политических побед. Он принадлежал к знатной фамилии, представители которой играли заметную роль в истории Швеции. Фактически, он был правой рукой короля Густава II Адольфа, который в свою очередь доверял Акселю решения самых серьезных проблем, таких как Семилетняя война. Здесь Аксель подписал мирный договор и вернул Швеции крепость Эльфсборг, правда за внушительный выкуп.
Отношение к русским Аксель Оксеншерна оставляло желать лучшего, так он писал Делагарди: "Несомненно, что в русских мы имеем неверного, но вместе с тем могучего соседа, которому из-за его врожденных, всосанных с молоком матери коварства и лживости нельзя верить, но который, вследствие своего могущества страшен не только нам, но и многим своим соседям, как мы это еще хорошо помним".
В 1935 году Дворец был внесен реестр исторических зданий, и ныне имеет тот же самый вид, что и в 1653 году.