Отец поэта, Ян Эрбен, был сапожником и садовником; мать, Анна, была дочерью учителя. По материнской линии достались Карлу любовь и тяга к учению. Он окончил гимназию в Градце Кралове, после этого изучал философию, а потом право. Во время учения его другом и собеседником стал Карел Гинка Мах, завязал Эрбен дружбу с Франтишком Палацким, а позже и с Боженой Немцовой, познакомился с известными зарубежными собирателями фольклора и много времени проводил в архивах. До 1843 года работал судебным чиновником, потом ассистентом в Национальном музее, а в 1851 году получил место архивариуса города Праги, позднее был назначен руководителем канцелярских учреждений города Праги. Был дважды женат. Первая жена Барбора (Бетинка) Мечирова умерла в 1857 году, после ее смерти он женился на Софии Мастной. От первого брака у Эрбена было три дочери; сыновья его умирали в младенческом возрасте.
Умер Эрбен 21 ноября 1870 года в возрасте 59 лет. Наследие, оставленное им чешскому народу, огромно. Удивительно, как много удалось ему собрать, переработать за его не особо долгую жизнь.
Эрбен собирал и сочинял сказки, песни, баллады, считалки, наговоры, писал статьи для научного словаря Ригера, издавал старочешские труды (например, избранные труды Яна Гуса), переводил свод гражданских законов и уголовный кодекс, принял участие в составлении гимназических учебников, был редактором «Пражских новостей», много путешествовал – в Вену, Загреб, в Москву. В связи со своей исследовательской работой был членом многих известных обществ, например членом Чешской королевской академии наук, членом археологического общества в Москве, членом совета Харьковского университета, корреспондентом Императорского геологического института в Вене; получил множество наград и отличий: например, черногорский князь Николай Первый провозгласил его рыцарем третьей степени. Сборник баллад Эрбена «Китице» («Букет») был торжественно помещен в личную императорскую библиотеку.
Уже в 40‑х годах начал Эрбен издавать сказки в «Чешской пчеле» (одной из первых была сказка «Как хорошо, что есть смерть на свете»). Он был сторонником мифологического происхождения сказок. Письменный вариант сказок К. Эрбен реконструировал из двух или более записанных по устным преданиям вариантов (как, например, «Златовласка», «Три золотых волоса деда Всеведа» и др.). Он интересовался деятельностью братьев Гримм, был хорошо знаком с немецкой мифологией Якоба Гримма. По Эрбену, в сказках отражается вечное противостояние зимы и весны, тьмы и света, смерти и жизни, что символизирует мертвая (ледяная) и живая (текучая) вода.
Эрбен не успел осуществить все, что было им задумано: чешские сказки были изданы уже после его смерти, планы, касающиеся дальнейшего собирания фольклора, также были выполнены не целиком, но, несмотря на это, Эрбен по праву считается основателем чешской этнографии и ведущим воплотителем основ народного творчества во времена романтизма, причем не только в чешской, но и в мировой литературе. «Чешские сказки» Эрбена издал позже Вацлав Тилле (1905 г.). Славянские сказки Эрбену удалось издать при жизни. В 1869 году вышла книга «Избранные народные сказания и легенды других ветвей славянских». Книга содержала 90 переведенных на чешский язык и литературно обработанных сказаний. Эрбен черпал их из собрания А. Н. Афанасьева (русские и украинские), К. Балинского (польские), А. И. Глиньского (польские и белорусские), В. С. Караджича (сербохорватские и словенские), Г. С. Раковского (болгарские) и других собирателей, с которыми Эрбен состоял в переписке (из этой книги в настоящем издании приведены западнославянские предания).
Самое известное творение Эрбена «Букет» («Kytice») вышло с первоначальным названием «Букет из народных преданий» (1853 г.), а в 1861 году автор расширил книгу, назвав ее «Букет из поэм Карла Яромира Эрбена». Поэмы из «Букета» по-прежнему вызывают глубокий интерес: они положены на музыку, по их сюжетам сняты фильмы, к ним обращаются художники. В начале своего творческого пути Эрбен считал главной задачей только сохранить народные сказания, но в «Букете» ему удалось создать произведения неумирающей художественной ценности. Основная тема «Букета» – неотвратимость судьбы и вина героев или героинь поэм в собственной участи.
Эрбена очень серьезно занимал вопрос объединения славянского мира. Он с надеждой и уважением смотрел на русский народ и его творчество – история языка самого многочисленного в мире славянского народа внушала надежду на то, что языки малых славянских народов когда-нибудь обретут равноправие в европейском мире. Еще в 50-е годы ХIХ века Эрбен был избран членом-корреспондентом Российской Академии наук.
В конце жизни он работал над русскими историческими памятниками: в 1867 году вышел его перевод летописи Нестора, в 1869‑м – перевод «Слова о полку Игореве» и «Задонщины», отличающиеся высокими художественными достоинствами.