Из контекста видно что это выражение ("иди в баню") сказано в переносном смысле.
"Значение выражения"
Прост. шутл. бранно. Выражение пожелания избавиться, отделаться от кого-л. БТС, 58./ Первонач. — эвфем. пожелание отправиться к баеннику, банному чёрту. Мокиенко, Никитина 2003, 76; Подюков 1989, 87; Глухов 1988, 56.
Большой словарь русских поговорок. — М: Олма Медиа Групп. В. М. Мокиенко, Т. Г. Никитина. 2007.