Здорово, что родные вас поддерживают.
Что вам сказал психолог - предположительный диагноз мужа серьезный? У вас есть возможность обратиться к детскому психологу? Специалист мог вы вам подсказать дальнейшие действия в отношении встреч и общения папы с ребенком. Вам, по возможности, нужно избегать с ним встреч, с его мамой - тоже, коли она вас так подводит. Если встречаться ребенку с папой и бабушкой, то только в вашем присутствии и еще с каким-то доверенным лицом - подругой, родственницей.
По поводу развода. Если муж будет просить время на примирение, ему могут пойти навстречу. В это время, если вы твердо решили развестись, нужно вести себя также осмотрительно - дистанцироваться, встречи с ребенком - в присутствии вашем и доверенных лиц, на улице постараться быть рядом с кем-то, на людях.