Он не будет к вам возвращаться. Вы используете слова «моих» и «к нам» — такое ощущение что он лишний. И собственно такой подход уже исключает его из семьи.
Отец тот, кто живёт с семьёй, опекает её, заботится о том, чтобы супруга и дети были счастливы. И это важнее чем присутствие кровного отца который не обладает отцовскими качествами. Поэтому лучше найдите мужчину который обладает этими качествами и готов принять ситуацию такой какая она сложилась сейчас.