Ответ очевиден: просто разворачиваетесь и уходите. Вас никто не держит около него.
Вы к нему не привязаны физически, правда эмоционально — да, привязаны.
Но эту связь надо разорвать, захотите — помогу.
А так, в принципе-то, просто уходите — и всё!
К сожалению Ваш вопрос задан очень поверхностно, и ответить на него можно только поверхностно, а додумывать и строить предположения не профессионально.