Здравствуйте, Ольга. Зачем вы хотите прояснить эти отношения? У человека может быть много личных проблем о которых он не готов говорить (не может, не хочет и всё). Вы же не знаете какие травматичные события произошли в его жизни — и не можете знать, пока он не захочет с вами об этом поговорить (и не факт, что вы сможете ему помочь, даже если захотите). Вы переживаете, сомневаетесь, беспокоитесь, терпите оскорбления — почему? Если вы хотите знать причину — то можете спросить его лично. Если не ответит или соврёт — значит ваши подозрения (неприятные мысли) относительно него всё-таки верны. А для такого трепетного и дружеского отношения с вашей стороны — лучше поискать достойного человека, который ответит вам взаимным уважением. А добрые воспоминания о нём никуда деться не могут — это воспоминания — он действительно был хорошим (и наверняка и сейчас хороший, просто ему почему-то тяжело, и он находит вот такой способ получить облегчение — набегами, украдкой, неуверенно...).