С 1845 по 1848 г. он состоял начальником работ по устройству Нижнего Новгорода и за устройство в Нижнем, по им же составленному проек ту, водопроводов и фонтанов удостоился выражения Высочайшего благоволения. [
В 1849 г. во время венгерской кампании был инспектором военных сообщений нашей армии и отправлен в главную квартиру ее в город Мишкольц в Венгрии; здесь Дельвиг построил мост через реку Гернат у д. Пога для перехода следовавшего из Дебрецена к армии 4-го пехотного корпуса и осматривал военную дорогу и почтовые станции по тракту от Гросс-Вардейна через Токай до Галиции. За особые труды в эту кампанию Дельвиг был награжден Императорской короной на орден Св. Анны 2-й степени. В 1850 г. он был назначен членом учебного комитета Главного управления путей сообщения, комиссии по сооружению постоянного моста через р. Неву, технической комиссии при Департаменте железных дорог и состоял с этого года начальником Московских водопроводов, причем устроил в 1856 г. водоснабжение на Ходынском поле в Москве.
С 1852 по 1861 г. Дельвиг состоял председателем архитектурного совета комиссии по постройке в Москве храма Спасителя и членом комитета по надзору в Москве и ее уезде за устройством фабрик и заводов. В продолжении 10 лет с 1861 по 1871 г. Дельвиг, состоя в должности главного инспектора частных железных дорог, принимал деятельное участие в постройке 32 железных дорог длиною в 11 222 версты.
В 1868 г. Дельвиг, по случаю преобразования корпуса инженеров путей сообщения, зачислен по инженерному корпусу военного ведомства; был назначен членом Комитета железных дорог, получил чин генерал-лейтенанта и назначен членом комиссии генерал-лейтенанта Зиновьева для начертания путей, могущих служить для скорого подвоза хлеба в часто страдающие от неурожая северные губернии; в следующем, 1869 г. Дельвиг был назначен членом совета Министерства путей сообщения и постоянным членом комитета при Военном министерстве по передвижению войск железными дорогами и водой, а также сенатором, причем в течение десяти месяцев, в отсутствие графа Бобринского, временно управлял Министерством путей сообщения. [
В 1871 г. Дельвиг получил орден Св. Александра Невского, оставил службу по Министерству путей сообщения и назначен присутствующим сенатором в 1-й Межевой департамент, где и состоял до самой смерти, последовавшей 20 января 1887 г. С 8 марта 1867 по 20 ноября 1870 г. Дельвиг был первым председателем образованного при его участии Русского технического общества, которое многим обязано энергической деятельности своего первого председателя. К этому же периоду относится и деятельность Дельвига по участию в разработке положений и самом создании технических железнодорожных училищ, первые из которых возникли по его почину на средства, добровольно отчисленные частными железными дорогами. Одно из таких училищ учреждено в 1870 г. в Москве под названием Дельвиговское железнодорожное училище, для которого Дельвиг пожертвовал дом и устроил при нем общежитие, обеспечив его капиталом. И по оставлении места председателя Дельвиг, избранный почетным членом Технического общества и почетным членом совета, не переставал заботливо относиться к основанным обществом школам для взрослых рабочих, постоянно изыскивая средства для них и привлекая пожертвования; так, например, в 1883 г. последовало Высочайшее соизволение на учреждение трех стипендий имени барона Дельвига; с 1875 по 1877 г. Дельвиг был председателем съезда машиностроителей и членом комиссии для снабжения железных дорог рельсами и подвижным составом. В 1881 г. Дельвиг праздновал пятидесятилетие своей служебной деятельности в офицерских чинах и в день юбилея был произведен в чин генерал-инженера.