Центром первого этажа стала библиотека, большая комната с камином, на который Поленов ставил керамические статуэтки и кувшинчики, подаренные друзьями — художниками, работавшими в абрамцевской керамической мастерской. Одна дверь вела в кабинет Поленова, другая — в «игральную» комнату, предназначенную для игр и занятий детей.
«Игральная» просуществовала не очень долго. После смерти в 1895 году матери, а в 1898 году Елены Дмитриевны Поленов перевез в усадьбу все их имущество: портреты предков, бюро красного дерева, на котором Алексей Яковлевич Поленов писал трактат об освобождении крестьян, живописные работы матери, археологические коллекции отца, старую родительскую мебель. И комната, которая поначалу называлась «игральной», стала теперь «портретной» — посвященной памяти предков. В том виде, какой придал ей Поленов, она сохраняется по сей день.
Для детей, для их летних игр, была построена неподалеку от дома бревенчатая избушка, совсем как из сказки.
Огромное окно библиотеки и дверь, ведущая на террасу, открывают вид на Оку, реку величественную, одну из самых прекрасных рек в России, воспетую поэтами от Языкова до Заболоцкого.
На первом этаже в кабинете Поленова находились коллекции старинного оружия, книжные шкафы, широкий удобный диван, покрытый пестрой восточной материей, висела картина «Река Оять».
Большая же часть картин — и самого Поленова, и его друзей — была в библиотеке: «Абрамцево» Репина и его же этюд к «Садко» — голова индийской царевны, «Бор в Сестрорецке» Шишкина, «Неаполь» Сурикова, «В гостях у соседки» Малютина, картины, этюды, эскизы Остроухова, Левитана, Архипова, Сергея Иванова, портрет Натальи Васильевны, написанный Николаем Кузнецовым в 1885 году, портрет бабаши Воейковой, писанный Крамским, «Ворон» Васнецова, которого Поленов купил с выставки, а под ним — эскиз к «Богатырям», подаренный Васнецовым еще в 1876 году в Париже. Картину свою Васнецов закончил в 1898 году; тогда Поленов и получил эскиз, подаренный двадцатью двумя годами раньше. «Ворон» и «Богатыри» висят — одна под другой — в углу библиотеки. В другом углу — между дверью в «портретную» и окном — удивительная «Мадонна», написанная в XIV веке мастером Сиенской школы, и подлинная картина Веронезе, которым Поленов не переставал восхищаться с того самого дня, когда, будучи пенсионером Академии художеств, в Венеции впервые увидел полотна этого мастера.
Была еще на первом этаже столовая; временный флигель, построенный в Бёхове, перенесли в Борок, поставили подле дома, и в нем, соединенном теперь с домом крытым коридором, разместились кухня и другие служебные помещения.
Комнаты второго и третьего этажа были жилыми: спальня, мастерская Поленова, кабинет Натальи Васильевны, детская, несколько комнат для гостей, которые, надеялся Поленов, будут приезжать к нему. На краю усадьбы оказался подпочвенный родник, и на этом месте был вырыт колодец.
Подле дома расположились: конюшня, каменный сарай, погреб, коровник и дом для рабочих, которые время от времени выполняли какие-нибудь работы, так, в столярном сарае местный крестьянин Иван Михайлович Никишин, очень толковый и дельный мастер, сделал по чертежам Поленова несколько лодок. В связи с этим почти у самой реки построено было то, что Поленов именовал «адмиралтейством», — сарай из плетеных прутьев, обмазанных глиной, крытый дранью.
Все постройки были закончены в начале 1893 года.
А в 1904 году неподалеку от основного здания выросло еще одно строение, которое Поленов, не переставая любить готику, спроектировал именно в готическом стиле и даже покрыл красной черепицей. В здание это, из — за своего облика получившее название «Аббатство», Поленов перенес свою живописную мастерскую, а также устроил в нем столярную мастерскую: он полагал, что исцелиться от головных болей ему помогает не в последнюю очередь физическая работа.
Кроме того, в это время Поленов (об этом еще будет рассказано подробно) занялся просветительской деятельностью: создал народный театр и в Москве, и в Борке. В Аббатстве планировка помещения была такова, что можно было устроить сцену и зрительный зал. Второй этаж (башня) Аббатства предназначался для хранения этюдов, которые Поленов не переставал дарить друзьям и ученикам, посещавшим его.