Ясен хер, они и спят вместе и секс у них коромыслом.
Вопрос не в том, что там у них, а что там в вашей голове, и то, что воспринимаете ли вы его слова буквально, или начинаете массовые интерпретации сказанного. На поверхности второе.
Насчёт жены - вы пошли на этот шаг зная, что он женат, или узнав чуть позже, не имеет значения. Значит, на тот момент, на зарождении отношений - это вами воспринималось (как-то). А сейчас, когда он начал признаваться в любви, вы почувствовали "права на него". А имеете ли вы их, эти права? кто вы ему?