По соседству с приходом церкви середине ХVII располагался участок статского советника, полковника Василия Борисовича Толстого (1706-1790). Соседями Толстого были генерал-майор Иван Иванович Оленин, капитан Загряжский и подполковник С.П. Кологривов.
Василий Борисович Толстой происходил от старшей не графской линии Толстых. Однако, его младший брат Петр Андреевич графский титул все-таки получил. Граф Алексей Константинович, Федор Иванович "Американец" Толстой и Лев Николаевич Толстой - все они унаследовали графский титул от Петра Андреевича.
Василий Борисович был женат на Дарье Никитичне Змеевой, жили они в городской усадьбе на Земляном валу. У них в этом доме родились и выросли пять детей: Анна, которая была замужем за графом Федором Андреевичем Остерманом, государственным деятелем времен Елизаветы Петровны и Екатерины Великой, Марфа, Николай, которого убили участники Пугачевского бунта, Александр, Симбирский губернатор, дед декабриста Ивашева, и Лев, действительный статский советник, женатый на Екатерине Михайловне Римской-Корсаковой. У Льва и Екатерины родилась дочь, тоже Екатерина. В 1776 году она вышла замуж за Ивана Николаевича Тютчева. У них родился сын Федор, в последствии известный отечественный поэт Федор Иванович Тютчев. Так что мама поэта в детстве бегала по лестницам и коридорам нашего особняка.
Планировка усадьбы была выполнена в стиле раннего московского классицизма. В центре двора стоял главный жилой дом - небольшой деревянный особняк, а по бокам его находились два деревянных хозяйственных строения. Перед домом был большой двор, а позади разбит сад с кузницей, оранжереей - летней и зимней, отапливаемой.
В августе 1773 г. в усадьбе произошел пожар, деревянные постройки сгорели. В сентябре Толстой подал прошение в Московскую полицмейстерскую канцелярию о новом строительстве. План строительства план был подписан архитектором Петром Федоровичем Бортниковым, который и считается архитектором дома. На парадном фасаде главного дома был сделан небольшой ионический портик, пилястры, обрамляющие крайние пары окон (сам портик не сохранился, но пилястры остались). Садовый фасад декорировали сложнее. Центр фасада отмечен полукруглыми окнами и ажурным балконом на мощных белокаменных кронштейнах. С него открывался потрясающий вид на Лефортово, Разгуляй и дальше - на Сокольники. По легенде, в 1812 году на этом балконе стоял Наполеон, но документальных подтверждений этому нет.
После смерти Василия Борисовича и Дарьи Никитичны дом унаследовала Марфа Толстая. Но после ее смерти 1808 году Толстые продали усадьбу купцам Борисовским. Они владели домом до 1906 года, почти 100 лет.