Во вновь образованной Петербургской консерватории Давыдову поручают класс виолончели и курс истории музыки. Параллельно с работой в консерватории музыкант поступил в оркестр Итальянской оперы. Здесь он прослужил в качестве солиста двадцать лет.
Кроме того, Давыдов выступал и как солист Русского музыкального общества. Ежегодно он давал сольные концерты. Затем он вошел в состав Петербургского квартета РМО, который считался одним из лучших в мире. Посетивший в 1871 году Петербург Иоахим, выступив с музыкантами квартета, писал: «Квартетисты не причиняют мне ни малейшего труда, — отличные, опытные музыканты, играющие последние бетховенские произведения и во сне (но не сонно)».
В 1865 году Карл Юльевич женился на Александре Аркадьевне Горо-жанской, воспитаннице пансиона его матери. Александра, страстно увлекавшаяся музыкой, разделяла художественные устремления мужа. В доме Давыдовых постоянно собирались музыканты, проводили творческие вечера. Вот как описывает Ауэр вечера у Давыдова: «По случаю первой же нашей квартетной репетиции он ввел меня к себе в дом и познакомил со своей очаровательной женой… Славные были дни! А веселье, смех и нескончаемый поток анекдотов после репетиций, когда мы все собирались вокруг гостеприимного стола Давыдовых за незатейливым ужином!» В 1869 году у Давыдовых родилась дочь Лидия, а в 1870 году — сын Николай.
Обосновавшись в Петербурге, Давыдов занял прочное и высокое по тому времени положение. Ему было «высочайше» пожаловано звание солиста двора, титула которого удостаивались только самые выдающиеся музыканты.
Давыдов почти не выезжал за границу с концертами. Исключение составляют две поездки: в Германию и Францию (зимний сезон 1867–1868 годов) и в Бельгию, Голландию (начало 1873 года). Обе концертные поездки сопровождались триумфальным успехом.
В России как солист Давыдов выступал тоже нечасто. Сольной концертной деятельности он предпочитал камерную квартетную. По мнению Л.С. Гинзбурга, причина этого в бедности виолончельного репертуара.
Если мастеру попадалось подлинно художественное произведение, то Давыдов выступал охотно. Так, он явился первым пропагандистом в России концертов Р. Шумана и К. Сен-Санса. Крупным событием русской музыкальной жизни стало исполнение Давыдовым концерта Шумана в Петербурге 2 ноября 1869 года. Чтобы обогатить концертный репертуар виолончелиста, Давьщов переложил для виолончели много пьес Бетховена, Шопена, Шумана.
Впрочем, широта и многогранность творческой личности Давыдова были поистине безграничны. Он проявляет себя как дирижер, увлекается общественной деятельностью и даже… коммерческой, входя с 1874 и по 1876 год в состав дирекции Общества Брянского рельсопрокатного, железоделательного и механического завода.
Давыдов владел тремя иностранными языками, был блестящим математиком, механиком.
В квартире у него долго стояла модель железнодорожного моста, им лично рассчитанного. Карл Юльевич интересовался и ботаникой.
С 1867 года Давыдов возглавлял Петербургскую консерваторию в качестве ее директора. Давьщов находился в первых рядах поборников музыкального просвещения.
Он был великолепным педагогом, создателем виолончельной школы, блиставшей такими именами, как А.В., Вержбилович, Ф. Муперт, А. Кузнецов, Н. Логавовский, Д. Взуль, В. Гутор, и многими другими. Можно смело сказать, что Ауэр также много воспринял от Давыдова, разрабатывая свои педагогические принципы.
Стремясь дать профессиональную выучку как можно большему количеству музыкантов, Давьщов резко увеличил число учащихся. Для беднейших учеников он ввел многочисленные льготы и увеличил количество бесплатных стипендий, а также устроил для них общежитие.
Своими действиями Давьщов вызвал недовольство в реакционно настроенной дирекции Русского музыкального общества, которой подчинялась консерватория.
В конце концов, Давьщов не смог дальше оставаться на посту директора консерватории и в январе 1887 года подал в отставку.
Реакционные круги приняли отставку Давьщова с нескрываемым удовлетворением. В газете «Новое время» появилась пасквильная заметка: «Директор консерватории г. Давьщов исчез из консерватории. Что его побудило к этому, какая музыка, какой романс или какой голос — об этом распространяться не станем. Скажем только, что он хорошо сделал, что сложил с себя это звание, ибо консерватория под его управлением только падала и падала, и принимала несколько еврейское и притом вообще лицеприятное направление».
Уход из консерватории тяжело сказался на Давыдове. Ко всему прочему ему пришлось полностью перестроить жизнь и вернуться к концертной деятельности. Может, это не было бы таким страшным, если бы не плохое здоровье. Карла Юльевича мучили приступы грудной жабы.