Построена во второй половине XVIII века. С 1909 и до 2007 года в главном здании усадьбы размещалась средняя общеобразовательная школа. При этом в здании хорошо сохранилась историческая внутренняя отделка, росписи, паркет XVIII века, лепнина. В начале 2008 года усадьба передана Калужскому областному краеведческому музею. Главное здание усадьбы стоит над рекой Суходрев, на самом краю обрыва.
Восточный фасад здания, обращённый к реке Суходрев, оформлен портиком в стиле русского классицизма. Четыре круглые в колонны с капителями опираются на мощный фундамент, украшенный тремя арочными пролетами. Изящно встроенные медальоны с изображением фигур античных героев украшают восточный фасад. Северный и южный фасады оформлены одинаково: две круглые колонны, симметрично расположенные пилястры поддерживают небольшие балконы в классическом стиле. Нижний этаж служил для хозяйственных нужд и не имел художественной отделки. На втором этаже располагалась парадная анфилада комнат, сохранились уникальные росписи потолков; третий был жилым: комнаты хозяев, гостей, детские комнаты, на третий этаж вела небольшая лестница.
В 1834 году усадьба перешла к дочери П. Г. Щепочкина Марии Павловне, мужем которой был генерал-лейтенант А. А. Бистром. Здесь, в 1850 году была выдана замуж их дочь, Александра Антоновна — за хирурга Николая Ивановича Пирогова. После венчания семья Пироговых в Полотняном Заводе провела три недели своего медового месяца.
В конце XIX века усадьба была продана купцу-старообрядцу Ершову. В 1909 году на третьем этаже усадебного дома была открыта школа. После смерти Ершова дом по наследству перешёл к супругам Прохоровым, которые устроили в большом зале молельню, установили иконостас.