Его здоровье, подорванное в лагерях, резко ухудшилось в конце 1960–х годов. До последних дней жизни он продолжал писать хорошие стихи, встречаться с молодыми литераторами, творчество которых курировал, с друзьями. Поэт немного не дожил до своего 60–летия и скончался 27 ноября 1972 года. Похоронили его на Новодевичьем кладбище.
После смерти Смелякова вышли в свет его книги «Моё поколение» (1973), «Служба времени» (1975), собрание сочинений в трёх томах (1977–1978) и другие издания. Во второй половине 1980–х годов стали печататься и его стихотворения, которые раньше не пропустила бы цензура.
Ярослав Смеляков оставался верным убеждениям юности и даже в предсмертном бреду, по словам жены, всё с кем – то спорил, всё советскую власть отстаивал. Он был крупным русским поэтом, но не гениальным мыслителем и провидцем. Словно подводя итог своему творчеству, незадолго до смерти он написал: