Здравствуйте, Елена!
Когда мы говорим о защите прав, необходимо учитывать эффективность. 
Итак, 1) можно заключить соглашение с бывшим супругом. Если опасаетесь или считаете этот вариант невозможным (ну мало ли, вдруг бывший муж не будет с вами это обсуждать, да ещё и договариваться о чем-то), то 2) определите место проживания ребёнка через суд. Процесс долгий и не легкий, особенно если бывший муж добросовестно будет являться и настаивать на проживании ребёнка с ним.
НО! Ни одно из этих решений, у сожалению, не панацея, если как вы пишите «не исключено, что ему придёт в голову  после очередной встречи не возвращать мне ребёнка».
Лучшим решением для вас на данный момент будет, оставить ситуацию как есть, нет необходимости выяснять данный вопрос.