Первыми жителями пещер считаются аланы, являвшиеся самым могущественным из сарматских племен. Осев в горном Крыму, кочевники приняли христианство и занялись земледелием, животноводством, ремеслами. Изначально в стенах крепости располагался торгово-ремесленный центр, который упоминается в источниках XIII века под турецким названием Кырк-Ор («сорок крепостей»). Одно из самых ранних его описаний принадлежит арабскому путешественнику Абуль-феде, изучавшему полуостров в 1321 году: «Кырк-Ор находится в стране аланов; это сильно укрепленный замок, основанный на неприступной горе. Наверху горы есть площадь, где жители страны в минуты опасности находят убежище». Относительно одной крепости сочетание «кырк-ор» звучит странно, хотя средневековые географы могли воспользоваться этим термином для обобщенной характеристики горного Крыма. Так или иначе, название «сорок крепостей» получила новая столица края, ставшая резиденцией татарских ханов вместо заброшенного Солхата.
Вполне реальное предположение об основателях Чуфут-Кале высказал Бертье-Делагард, приравнявший горную столицу к загадочному городу Фуллы. В старинных документах упоминалась Фулльская епархия, но никто не рассказывал о городе, хотя даже в утопическом образе его соотносили с аланами. Замена язычества христианством проходила трудно во всех регионах, и первые проводники новой веры вынужденно применяли силу. В «Сказании о начале славянской письменности» рассказывается о деятельности монаха Кирилла (Константина-философа), в 860 году обращавшего в христианство местных аланов: «…и здесь он, проповедуя, срубил священный дуб, которому они поклонялись». Благодаря общей народности Фулльская епархия позже объединилась с отдаленной Сугдейской, где тоже преобладали аланы. Таким образом кафедральный город Фуллы потерял свое значение и перестал упоминаться в церковных документах.
Если Бертье-Делагард не ошибался, то «Чуфут-Кале существовал задолго до татар, и каково бы ни было его название, к татарскому времени имел большое значение в стране. Татары взялись за его осаду, вели ее долго, значит, оборона была упорной». В 1299 году полчища татарского эмира Ногая совершили набег на полуостров. Среди множества разоренных городов оказался Кырк-Ор, где разместился отряд захватчиков.
Архитектурные памятники Чуфут-Кале отражают этапы истории города. Самым ранним сооружением является оборонительная стена, пересекающая плато с севера на юг. Ее трехслойная конструкция типична для романской фортификации. Обе стороны стены выложены из правильных, тщательно отесанных блоков; внутренним слоем служат каменные обломки, скрепленные известковым раствором. Для защиты от тарана перед стеной в толще скалы пробит ров двухметровой глубины. В средневековых войнах воротам отводилась особая роль, учтенная при возведении Чуфут-Кале. Двустворчатые ворота оборонительной стены Орта-Капу имели арочное перекрытие. Обитые железом дубовые полотнища запирались тяжелым засовом, который ложился в специальный паз, сохранившийся до наших дней. С появлением огнестрельного оружия верхняя часть стены над входом дополнилась бойницами для стрельбы из ружей.
Приближаясь к городу, враг не подозревал о коварном качестве крепостных ворот. Следуя по дороге, воин традиционно держал щит в левой руке, повернувшись к стене правым незащищенным боком. С трудом прорвав оборону, он оказывался в тесном коридоре, на перекрытии которого располагались защитники города. Кроме того, еще один отряд размещался в конце тоннеля, где для усиления обороны находились четыре яруса боевых пещер.
Новая часть города возникла в начале XV века, когда перед восточной линией укреплений поселились еврейские сектанты караимы. В целях защиты своих жилищ они построили вторую оборонительную стену. Судя по сооружениям религиозного характера, горную цитадель населяли представители большинства крымских народов. Свидетельством пребывания евреев служат остатки синагоги. Византийские поселенцы заявили о себе постройкой базилики. Генуэзцы оставили след в виде водопровода, собранного из керамических гончарных труб.
Водоснабжение города осуществлялось через проем ворот: питьевая вода поступала в крепость из близлежащих источников. Для хозяйственных целей люди собирали атмосферную влагу, сохраняя ее в пифосах и каменных резервуарах. Греческим словом pithos назывался глиняный сосуд овальной формы, высотой около 2 метров. Закопанный в землю, он хорошо сохранял свежесть и прохладу воды.
Характерными признаками пещерного города являлись значительная площадь (до 10 гектаров) и специфическая планировка. Жилым кварталам отводилась большая часть территории, преимущественно вблизи главных ворот. Во второй, меньшей по площади части города постройки отсутствовали. Она изолировалась необоронительной стеной и в военное время служила убежищем не только горожанам, но и жителям окрестных селений. В мирную пору ее территория преобразовывалась в рыночную площадь, пастбище или место стоянки торговых караванов.