Задачи работы комиссии ее участниками были поняты далеко не сразу. М. Н. Покровский, который в это время еще не избавился от своих «левокоммунистических» заблуждений, предлагал начать с определения структуры и функций местных, особенно областных Советов. Он утверждал, что в основу Конституции должен быть положен принцип суверенитета местных Советов, и предлагал начать составление Конституции, так сказать, «снизу». Покровский сам называл себя сторонником «областной точки зрения». Свердлов сразу же придал этому вопросу принципиальное значение. Предложение М. Н. Покровского, поддержанное левыми эсерами, означало, что Конституция должна закрепить децентралистские, сепаратистские тенденции. Свердлов решительно выступил против этой попытки узаконить «областничество» и местничество. В ряде своих выступлений он указал, что путь, предлагаемый Покровским и некоторыми другими, приведет к тому, что комиссия «запутается в трех соснах» и не сможет взять правильного направления. Свердлов отметил, что жизнь «выдвигает в первую очередь [вопрос] не о том, как строить областные Советы, а вопросы о взаимоотношениях между существующими центральными, областными и местными Советами».
В печати и на заседаниях комиссии развернулась дискуссия по общим положениям Конституции. Свердлов неуклонно требовал, чтобы члены комиссии при подготовке Конституции исходили не из тех или иных абстрактных положений, а из непосредственной советской практики. Позже Свердлов отметил, что комиссия собрала огромный материал о деятельности различных советских органов, тщательно изучала и проверяла этот материал, «чтобы на основании пе одного какого-нибудь примера, а на основании широкой практики наметить правильное положение, правильную мысль о том, каково должно быть отношение одних частей к другим».
Свердлов добивался, чтобы Конституция как можно более точно, реально отражала прежде всего факт существования диктатуры пролетариата в ее конкретной форме — в форме Советского государства.
В работу над Конституцией Свердлов вкладывал всю свою энергию, весь свой опыт и знания. Материалы конституционной комиссии показывают, как тщательно изучал Яков Михайлович все то, что в Советской республике находилось в постоянном движении, развитии, выделяя из этого процесса то, что отстоялось, сформировалось и могло служить образцом.
В конституционной комиссии подвергся обсуждению и национальный вопрос. Проект, представленный М. А. Рейснером, отличался нигилистическим игнорированием национального вопроса. Федерацию Рейснер понимал как союз различных профессиональных организаций трудящихся, политических, классовых и т. д. Эти организации объединялись, по Рейснеру, в коммуны, коммуны, в свою очередь, — в областные республики. Федерацию по национальному принципу проект Рейснера не предусматривал. В проекте не оставалось места и для Советов как государственной формы диктатуры пролетариата. Свердлов показал, что проект Рейснера «совершенно не пригоден», «совершенно не подходит в качестве вводной части, в качестве общих положений». Он подчеркнул, что в этом проекте нет, по существу, основного принципа Советской Конституции, то есть нет диктатуры пролетариата.
Основной недостаток проекта Рейснера, отметил Свердлов, заключался в том, что он не включал формулировки задач, целей Советского государства. Свердлов считал, что Конституция, которая принимается в самом начале пути советского общества, не может не включать программных моментов. Только включив в Конституцию наряду со статьями, отражающими современное состояние Советского государства, и задачи построения бесклассового социалистического общества, ликвидации эксплуатации человека человеком, можно было превратить Конституцию в знамя борьбы миллионов трудящихся.
После принятия общих положений Конституции (составленных И. В. Сталиным) комиссия под руководством Свердлова приступила к разработке отдельных разделов. По предложению Свердлова комиссия коренным образом переработала раздел о Советах — сельских, волостных, уездных, городских и губернских. Комиссия отклонила предложение о куриальном разделении избирателей и уточнила категорию лиц, лишаемых избирательных прав.
Свердлов уделил большое внимание вопросу о функциях и структуре ВЦИКа и Совнаркома. Он решительно отклонил предложения о ликвидации Совета Народных Комиссаров и сосредоточении всех правительственных функций во ВЦИКе. В то же время Свердлов считал необходимым ликвидировать те отделы ВЦИКа, работа которых развивалась параллельно деятельности отдельных народных комиссариатов, рассматривая самые народные комиссариаты как отделы ВЦИКа. Он исходил при этом из необходимости установить самую тесную связь между всеми советскими учреждениями, начиная от центральных и до уездных и волостных..