Смирившись с этой реальностью, он делал то, что от него требовалось, настолько хорошо, насколько это было в его силах. Продюсеры, тем временем, уважительно давали ему свободу действий, которой быстро начали возмущаться другие актеры. Он опаздывал на репетиции, когда решал прийти на них, а вскоре и вовсе перестал это делать, потому что репетиции ему были не нужны, ведь у него была фотографическая память и он всегда знал свои реплики назубок. Когда он присутствовал на съемках, то регулярно исчезал надолго, чтобы помедитировать, часто в своей машине, куда за ним отправлялись ассистенты режиссера. Всех заставляли ждать его, а потом он возвращался, чтобы снова присоединиться к предприятию и сделать вид, что не замечает всех, кто на него зыркает. "Я сильно защищал его перед актерами, - говорит Джим Брукс, - но актерам не нравилось, как он с ними возится. Они были в ярости. Это вылилось бы в бурю. Я помню, как защищал его, всегда говоря: "Но он же художник". А они отвечали: "Художник не мочится на других художников!"". Джефф Конауэй, сыгравший роль актера Бобби Уилера, открыто ненавидел его: "Я не видел ничего особенного в этом парне. Продюсеры явно были от него без ума. Я думал, что он похож на подделку Хосе Хименеса". У Тони Данзы, сыгравшего боксера Тони Банту, были такие же первоначальные опасения: "Мне всегда нравилось говорить, что в моем районе он бы долго не продержался. Он был таким странным - я хотел знать, кто этот парень, а он ничего не давал. Иногда он даже не признавал вас в лицо, смотрел прямо сквозь вас". Однажды Данза встретил одного из опоздавших огнетушителем: "Я подумал, что выстрелю в него, разозлю его, и, возможно, мы сможем разобраться, понимаете? Я мог бы сказать: "Почему бы тебе просто не присоединиться к нам! И вот я беру огнетушитель и начинаю опрыскивать его возле раздевалок. А он просто стоит там. Он не произносит ни слова. А я продолжаю стрелять и просто опустошаю его. И теперь я самый сумасшедший парень в мире - потому что он даже не реагирует! Я не получил никакой реакции. Это сводило меня с ума. Джим Брукс потом отвел меня в сторону и сказал: "Эй, Тони, не надо мочить актеров"".
Он всегда держал свои стены возведенными. В пятницу вечером, когда шоу снималось перед живой аудиторией на трибунах, он закрывался внутри Латки, общался с актерами и съемочной группой только как Латка, брал записи у продюсеров и режиссера Джеймса Берроуза, а после говорил им tenk you veddy much. Марилу Хеннер вспоминала: "Если кто-то из зрителей просил его изобразить Элвиса Пресли, он изображал Латку в образе Элвиса Пресли: You ain't nutting but a hound dog. Энди нигде не было видно".