Институт русского языка, "Русская грамматика" (1980):
§ 1142. Несклоняемые существительные (в подавляющем большинстве – иноязычные по происхождению слова), называющие неодушевленные предметы, относятся к сред. р…
Примечание 1. Слово кофе относится к муж. р.; черный кофе, но допустимо употребление этого слова и в сред. р.: сгущенное кофе с молоком.
Д.Э. Розенталь и др. "Занимательно о русском языке", (1990):
"Так какого же рода слово кофе? -- спросит нас нетерпеливый читатель. Ответим: мужского, но кто говорит чёрное кофе, молотое кофе, то не делает ошибки".
Еськова Н.А. "Краткий словарь трудностей русского языка", (2005):
кофе, нескл., м. и допуст. с. // Крепкий (и допуст. крепкое) кофе
Граудина Л.К. "Словарь грамматических вариантов русского языка", (2008):
кофе, м. и ср. (разг.)