Чтобы семья проводила лето на природе, Николай Устинович приобрёл старинное имение Успенское под Звенигородом, которое и поручил превратить в готический замок молодому архитектору Петру Бойцову. Под стать преображённым фасадам были оформлены и парадные интерьеры с разнообразными деревянными отделками и мебелью, выполненными на фабрике Шмита. В имении хозяева устроили конный завод, который прославился хорошей организацией дела и высокой культурой коневодства и который существует по сей день под названием «Московский конный завод №1».
Младшая сестра Надежда, предположительно, жила с отцом в последние годы его жизни. Отцовская любимица, после его смерти в 1880 году она унаследовала и московскую усадьбу на Большой Никитской, и подмосковную усадьбу Подушкино всего в пятнадцати верстах от Успенского, когда-то купленную матерью отца. Мария и Вера не были несправедливо обделены и также получили по завещанию свои доли из других отчих владений, ведь наследство Казакова было очень значительным. Вскоре Надежда вышла замуж за молодого полковника Генерального штаба Евгения Александровича Веригина и на доставшиеся в наследство отцовские деньги воплотила в жизнь такую же мечту о рыцарском замке, как и у сестры Веры, – в детстве они вместе зачитывались романами Вальтера Скотта.
Надежда с супругом в 1885 году пригласили к себе в Подушкино архитектора Петра Бойцова, уже столь удачно перестроившего Успенское для Веры, и поручили ему выстроить волшебный французский замок на высоком холме с красивым островерхим силуэтом, башнями с шатрами, коваными ажурными гребнями, флюгерами и зонтиками над входами, словно сошедшими со страниц книг детских сказок. Образ и стиль дома был навеян архитектурой французских средневековых замков, перестроенных или достроенных в эпоху Ренессанса. Супруг Надежды, Веригин, был владельцем кирпичных заводов, расположенных недалеко от Подушкина, продукция которых, по всей видимости, была использована для построек.