Здание Båtsmanskasernen было построено на острове Skeppsholmen для управления морскими войсками. В 1803 году был заложен фундамент, на котором должны были быть построены артиллерийские мастерские, однако этого не произошло. Через несколько лет на Шеппсхольмене возникла срочная потребность в боцманских казармах. Как обычно возглавить строительство было поручено Фредрику Блому, и к 1819 году оно было завершено. На протяжении многих лет здание претерпевало значительные архитектурные изменения: радикальные перемены в интерьере здания произошли в 1870 году, а в 1907 значительно изменился его внешний вид: окна на первом этаже были увеличены для того, чтобы внутрь поступало больше света.
В 1935 году здание было признано национальным памятником, охраняемым Советом Государственной Собственности, а в 1953 сюда переехала Королевская Академия Изобразительных Искусств.