А зачем тебе это обязательно классифицировать? У тебя есть конкретная ситуация, вот и решай как с ней быть, а называть ее изменой или нет - это дело вкуса. Одни скажут, что измена, другие, может быть нет, и что с того?

У всех разные моральные устои. Я знаю одну счастливую пару, они вместе очень давно и при этом свободно изменяют друг другу. Я знаю другую счастливую пару, для них измена равнозначна апокалипсису. Так что всё зависит от твоего отношения к этому. Одно можно сказать точно - всё плохо если он обделяет тебя вниманием. В таком случае любовница для него значит намного больше чем жена, а такого быть не должно.