Это очень атмосферное место — его даже поэтично называют «Русский Парнас». 
Место известно давно: первое упоминание относится к 1340 году (земли Ивана Калиты). В XVII веке усадьбу основал Прокопий Ляпунов. Позже владельцами были разные люди: дьяки Львовы, граф Апраксин, а в 1751 году имение выкупил купец Козьма Матвеев — он заложил основу ансамбля.
Настоящий расцвет начался при князе Андрее Вяземском (с 1793 года). Он построил на месте старых построек дворец в стиле классицизма с флигелями, соединёнными колоннадной галереей. При нём и его сыне, поэте Петре Вяземском, усадьба стала центром культурной жизни. Здесь гостили Пушкин, Жуковский, Грибоедов, Батюшков, Гоголь, Тургенев.
Особая страница связана с Николаем Карамзиным. Он был женат на дочери Андрея Вяземского и провёл в усадьбе 12 лет (1804–1816). Именно здесь историк написал первые восемь томов «Истории государства Российского». В парке есть «карамзинская» берёзовая роща, где он гулял, и два «карамзинских дуба». 
Позже усадьбу унаследовал сын Петра — Павел Вяземский. Он собрал ценную коллекцию искусства и создал мемориальные комнаты Карамзина, Пушкина и отца. В 1888 году имение перешло к графу Сергею Шереметеву. В 1899 году, к столетию Пушкина, он открыл здесь один из первых общедоступных пушкинских музеев.
Интересный факт: в 1803 году на территории Остафьево приземлилась Прасковья Гагарина — первая русская женщина, совершившая полёт на воздушном шаре (вместе с Андре Жаком Гарнереном). Остатки шара долго хранились в усадьбе.