Sākotnēji Rīgas pilī bija Valsts mākslas muzejs, kurā bija latviešu un ārzemju mākslas kolekcijas, kas piederēja valstij. Tikai 20 gs. 40 gadu otrajā pusē tika realizēts projekts par mākslas muzeju krājumu sadali pēc profila. Ārzemju mākslas muzeja aizsākumi meklējami jau 1773. gadā, kad ārsts Nikolauss Himzels novēlēja savu kolekciju Rīgas pilsētai. Šo kolekciju, kurā bija gleznas un vara grebumi, izvietoja pilsētas bibliotēkā virs Doma baznīcas krustejas. Ar laiku šai kolekcijai pievienojās vēl citu kolekcionāru dāvinājumi: Dž. Ārmitsteda, Paula fon Tranzē- Rozeneka, Reinholda Filipa Šillinga, Domeniko de Robiāni u.c. …
