Музей расположен в комплексе зданий – памятнике архитектуры конца XVIII-XX веков. По имени прежних владельцев москвичи называют эту старинную усадьбу «Домом Остермана».
Со второй четверти XVII века загородная усадьба принадлежала боярам Стрешневым, а в 1783 году перешла по наследству графу Ивану Андреевичу Остерману. В конце XVIII века главный усадебный дом, перестроенный по проекту неизвестного архитектора, видимо принадлежавшего кругу М. Ф. Казакова, приобрел вид, близкий современному. В 1796 году братья Иван Андреевич и Федор Андреевич Остерманы передали свой титул и фамилию внучатому племяннику Александру Ивановичу Толстому, прославившемуся в Отечественной войне 1812 года и заграничных походах русской армии. Дом А. И. Остермана-Толстого, пострадавший в пожаре 1812 года, долго не восстанавливался, и в 1834 году был продан Святейшему Синоду для размещения здесь Московской Духовной семинарии.
В начале 1840-х годов здание было восстановлено и расширено по проекту А. Ф. Щедрина, а в 1885 году по проекту П. Е. Баева к правой галерее был пристроен двухэтажный корпус епархиального общежития.
В 1918 году здание было национализировано и передано в распоряжения ВЦИКа. После Великой Отечественной войны в нем разместился Президиум Верховного совета и Совет Министров РСФСР. В 1920–1930-е гг. в доме останавливались приезжавшие на съезды Советов делегаты. Отсюда и название улицы, на которой стоит особняк, — Делегатская. В начале 1950-х годов к зданию семинарского общежития был пристроен новый трехэтажный корпус, сооруженный по проекту В. Г. Гольфрейха и Кабанова.
История здания связана с именами многих выдающихся российских деятелей. Здесь бывали Александр I, митрополиты Платон, Филарет, Тихон, поэт Ф.И. Тютчев, в советское время — В.И. Ленин, Н.С. Хрущев, М. Горький.
В 1981 году здание было передано Всероссийскому музею декоративно-прикладного и народного искусства, открытому для посетителей 21 июля 1981 года.
Территория музея, 2,0719 га, позволяет реализовывать проекты, направленные на использование парковой зоны для осуществления музейных проектов, проведения массовых мероприятий — создания общественного пространства.