YAY. Я таки осилил настройку YARN'а на кластере. Ну, или более скромно, он у меня взлетел с приемлемыми результатами и начал хоть как-то адекватно распределять ресурсы, а не «бида-пичаль, задача отъела 24 ядра и 48 оперативки просто так, что делать?!».
Впечатления от этой системы, правда, неоднозначные. Многословная java, сотни и тысячи разных опций, хитро взаимосвязанных между собой… и что самое интересное, на каждую из них есть документация.
Вот только
связать их между собой в осмысленную структуру сходу нельзя. Нужно
и читать полностью все доки,
и покупать умные книги от O'Reilly, где описаны начальные этапы настройки и прочие подсказки, с чего начинать.
Вспоминается один
"анекдот"
Однажды Уатта пригласили найти неисправность в большой паровой машине. Так как хозяева из-за простоя несли большие убытки, и другие инженеры сделать ничего не смогли, они пригласили самого изобретателя паровой машины и обещали заплатить 1 000 долларов, огромные деньги по тем временам.
Уатт трижды обошел вокруг машины, потом попросил большую кувалду. Ему принесли кувалду, он примерился и ударил по кожуху машины. "Теперь запускайте", - сказал он. Машина заработала. После этого начинается самое интересное. Хозяевам стало жалко платить 1 000 долларов за один удар кувалдой, они чувствовали себя одураченными. Тогда они решили схитрить и предложили Уатту написать счет, чтобы затем его попытаться оспорить. Уатт взял лист бумаги и написал следующее. За удар кувалдой - 1 доллар, за знание, куда ударить - 999 долларов. Хозяева была вынуждены выплатить гонорар полностью.
#будниБольшихДанных #рабочее…вечера, флудилка.