Он родился 19 апреля 1922 г. в городке Вайсах, в 25 км северо восточнее Штутгарта. Эрих стал первым ребенком в семье врача Альфреда Эриха Хартманна и его жены Элизабет Вильгельмины, урожденной Махтхольф.
В 1924 г. двоюродный брат отца, служивший немецким консулом в Шанхае, уговорил его поехать вместе с ним в Китай, чтобы заняться там медицинской практикой. Из осторожности Альфред Хартманн решил сначала отправиться на Восток один. После Германии, измученной войной и политическими потрясениями, Китай показался ему настоящим раем. Доктор Хартманн обосновался в городе Чаньша, где он стал единственным белым врачом. Китайцы относились к нему с уважением и охотно лечились у него. Дела шли хорошо, и он вызвал к себе жену с детьми. К этому времени у Эриха появился младший брат Альфред.
Первое время Хартманны снимали маленький домик в Чаньше. Однако вскоре отец купил небольшой остров на реке Сянцзян, протекавшей через Чаньшу, и построил на нем новый дом. Там жизнь его семьи протекала тихо и спокойно. Первые детские впечатления Эриха и его младшего брата Альфреда были связаны именно с этим островком и домом, которые стали идеальным местом для их игр и буйной детской фантазии.