Коллекционировать картины Лео начал в 1903 году. Первым приобретением (не считая офортов и японской графики, купленных во время путешествия с двоюродным братом в 1900 году), стала картина маслом Вилсона Стира. Поняв, что месячного бюджета в 150 долларов не хватит на покупку желаемого, Лео переключился на современное искусство, в то время относительно дешевое, и приобрел работу художника-импрессиониста Гардье. Роясь в небольших художественных галереях, коих в Париже было более чем предостаточно, он обнаружил, что картины можно покупать по относительно невысокой цене. Лео тут же приступил к изучению художественного рынка. Экспрессивный по натуре, он, как гончая, рванулся в охоту за картинами.
По совету искусствоведа Беренсона он отправился в галерею Амбруаза Воллара, и оттуда все началось. В небольшом помещении кучами были навалены картины, многие неоконченные. Посему посетителю дозволялось приходить и часами там рыться. В конце концов, Лео купил одну картину Сезанна
Основными событиями для художников и коллекционеров являлись две выставки — весенний Салон Независимых и Осенний Салон. Там Лео имел возможность наблюдать и анализировать современные тенденции в искусстве. У него сложилось определенное понимание художников-современников, о чем он четко высказался в письме к приятельнице:
… если мое письмо окажется трактатом, то виной тому настоятельная потребность [изъясниться], которую я ощущаю необходимой, начиная с того времени, как посетил Осенний Салон… Художники, чьи картины мы купили: Ренуар, Сезанн, Гоген, Морис Дивуа; те, чьи картины мы не купили, но хотели бы: Мане, Дега, Вийяр, Боннар, Ван Гог, например; все принадлежат к L’Art Moderne (заметьте, не то же самое, что L’Art Nouveau)… Большая Четверка — Мане, Ренуар, Дега, Сезанн.
В январе 1904 года пополнилась семья Стайн в Париже — прибыл старший брат Майкл с женой и сыном. Поселились они на улице Мадам, недалеко от улицы Флерюс. Майкл решил, что во Франции его сын Аллан получит лучшее образование, а жена Салли сможет совершенствоваться — ведь она изучала музыку, искусство, интересовалась театром. Майкл успешно вложил деньги в Америке и мог себе позволить отойти от дел.
Все сложилось удобно, ведь Майкл был не только кровным родственником, но по-прежнему являлся распорядителем наследства, приносившего регулярный доход.
Своим энтузиазмом Лео сумел разжечь интерес к коллекционированию у вновь приехавших членов семьи. Впрочем, больших усилий и не потребовалось.
Майкл, как старший и ответственный за благополучие клана, выделял брату и сестре по 150 долларов ежемесячно. Жили они скромно, но, как впоследствии вспоминал Лео, квартирная плата и еда были недороги, а медицинские расходы невелики — все были молоды: Майклу в ту пору было 39 лет, Лео — 32, Гертруде — 30. Соединив бюджеты, можно было позволить себе нечто большее. Случалось, что Майкл выделял специальную дополнительную сумму, видимо, годовые дивиденды от ценных бумаг. Лео вспоминает, как однажды вся семья одноразово истратила 8 тысяч долларов, купив две работы Гогена, две фигурные композиции Сезанна, два полотна Ренуара и пр.
Брат с сестрой экономили во всем, покупая картины и книги: «Мы презирали роскошь… и приобретали то, что хотели». На вопрос одного знакомого, откуда берутся средства на все это, Гертруда ответила: «Посмотрите, как я одета».