Решите что вы хотите. 
Если мужчина откажется полностью от своего ребёнка, будет ли нужен такой муж?
Если будет признавать и воспитывать — готовы ли вы его поддержать, принять девочку в свою семью, наладить отношения со свекровью?

Во первых выбрасываем из головы мысли о нем и о его женщине. Не сравниваем себя с ней. Порядочная женщина никогда не свяжется с мужчиной, параллельно причиняющим боль другой своей женщине. Во вторых пять лет вы жили с товарищем, который судя по его поступкам, вас не очень и берег. 

Да, будет к нему тянуть. Тут важно понимать что это не любовь, это желание забрать назад отданные части себя. Получить с него причитающуюся вам любовь и признание. Важно сейчас восстановить себя от этой тяги. Войти в ресурс своей жизни. Обрести радость свободы и узнать заново вкус жизни без гадостей предательства. При полном восстановлении мужчина вернётся и обязательно попытается нахулиганить снова. 

Если ребёнок попадёт в родственную для него среду, проблем быть не должно. 

Буллинг в современных школах наносит огромный удар по самооценке и будущему потенциалу ребёнка, уменьшает его уверенность в себе. Чтобы это поправить, поддерживайте свою дочь, хвалите. Отлично будет отправить ее на спортивные и другие близкие ей секции, где она будет учиться естественному дружескому общению со сверстниками, без страха унижений и агрессии.