Василий, в отличие от Якова, всегда считал себя русским, а не грузином. И характерами они с братом были несхожи и потому часто ссорились. Светлана была очень удивлена, когда Яков поступил в Артиллерийскую академию, сделался профессиональным военным. Видно, не знала, что это было сделано по настоятельной рекомендации отца. Яша, по ее словам, «был глубоко мирный человек — мягкий, немного медлительный, очень спокойный, но внутренне твердый и убежденный. Он был похож на отца миндалевидным, кавказским разрезом глаз, и больше ничем (наверное, убежденность и твердость у Якова тоже были от отца — ведь этих качеств Иосифу Виссарионовичу было не занимать. —
Я видела лишь раз или два, что он может и взорваться — внутренний жар был в нем; это происходило всегда из-за Василия, из-за привычки последнего сквернословить в моем присутствии и вообще при женщинах и при ком угодно. Яша этого не выдерживал, набрасывался на Василия как лев, и начиналась рукопашная».
Василий был способнее Якова, но трудолюбием и усердием не отличался. Да и характер у него был по-настоящему взрывной. Вот и ссорились братья постоянно. Играло свою роль и то, что они принадлежали к разным поколениям и разным культурам. Яков долго воспитывался в Грузии, и Россия во многом оставалась для него чужой страной. По словам Светланы, «Яша жил в Тбилиси довольно долго. Его воспитывала тетка, сестра его матери, Александра Семеновна. Потом юношей, по настоянию своего дяди Алеши Сванидзе, он приехал в Москву, чтобы учиться. Отец встретил его неприветливо, а мама старалась его опекать. Вообще говоря, жизнь в Кремле в одной квартире с нами и учеба на русском языке, трудно дававшемся ему вначале, — все это было совсем не для него. Оставшись в Грузии, он, наверное, жил бы спокойнее и лучше, как и его двоюродные братья.
Яша всегда чувствовал себя возле отца каким-то пасынком, — но не возле моей мамы, которую он очень любил. Первый брак принес ему трагедию. Отец не желал слышать о браке, не хотел ему помогать и вообще вел себя как самодур».
Иосиф Виссарионович родню своей первой жены не любил и в ходе великой чистки 1937–1938 годов истребил род Сванидзе почти под корень. Может быть, советскому диктатору не нравилось, что эти его родственники тесно связаны с Грузией, тогда как он уже старался забыть о своем грузинском происхождении. Аллилуевым в этом отношении повезло гораздо больше. По крайней мере, ни один из них не был казнен. Расстреляли только мужа Анны Сергеевны, Станислава Францевича Реденса, но не из-за свойства с Иосифом Виссарионовичем, а, скорее, по должности. Реденс был видным чекистом и погиб в ходе очередной «смены караула» в органах, затеянной Берией. Сталин тогда решил не вмешиваться и не стал спасать свояка, отношения с которым к 38-му году уже сильно испортились. Жена Реденса отделалась шестью годами тюрем и лагерей. Детей от второго брака Иосиф Виссарионович любил гораздо больше, чем Якова. Василий же, к несчастью, унаследовал от отца некоторые худшие черты, в том числе самодурство.
Когда Васе было чуть больше двух лет, он понес первую потерю. Надежда так рассказала об этом в письме Екатерине Георгиевне 1 мая 1923 года: «Иосиф здоров, работает очень много и поэтому устал, но летом он будет отдыхать и тогда опять поправится. У него иногда болит нога и рука (это ревматизм), но сейчас опять легче. Яша учится, бегает, иногда меня не слушается, но, в общем, он очень хороший мальчик, только лентяйничает и поэтому не очень хорошо учится, он стал очень большой, совсем как Иосиф, только голова у него, к сожалению, не такая. Васенька за зиму очень поправился и стал очень большим мальчиком, очень упрямый и непослушный, из-за чего я с ним очень часто ссорюсь (как видно, Василий Иосифович свой характер проявлял с младенчества.
Капризы двухлетнего бутуза не очень волновали мать. В этом возрасте все младенцы капризны, особенно мальчики. Хотя Вася, как кажется, уже пережил первую трагедию: гибель любимых кроликов. Не знал, бедняга, сколько еще неприятностей его ждет в жизни.