Поссорился с другом. Потом помирились. Теперь мне неприятно с ним общаться. Что делать?

2 месяца назад был у нас был конфликт: он пришел ко мне в гости, когда я мылся- я попросил его подождать за дверью пару минут (не люблю когда у меня кто-то дома без меня)- он развернулся и ушел.
Потом я ему написал, что он идиот и мог бы и подождать меня. Я был очень зол ибо все планы на вечер полетели.
В итоге еще пару раз общались, но все с наездами ибо оба были обижены.
Но общаться были вынуждены, т.к. он мне должен денег и возвращал частями.
Перед последней частью денег он написал, что все мне вернет в срок.
Я написал-, молодец.
Он написал- хочу тебе все отдать и избавиться от тебя.
Я написал- мол с головой все в порядке? С кем дружить будешь?
Он написал- найду с кем.

У меня появилась в тот день паника. Понимаю, что это конец отношениям, такое говорить и прощать нельзя.
Расписал себе все плюсы и минусы. Хоть дружок не лучший, но в последние годы больше всего с ним общался чем с другими. Живем рядом. Гуляем, выпиваем пару раз в месяц. Обсуждаем баб, политику, короче общаемся. Часто берет у меня в долг деньги, бесплатно ест у меня.

В принципе я понимаю что дружок плохонький, и общаемся ибо живем рядом. Но дружим почти 20 лет.
Я сам виноват, что сузил свой круг общения.

Итого:
Последние разы нашего общения(он возвращал долг) со мной какая-то фигня творится. Возникает периодически на какие-то моменты чувство страха- как будто меня баба бросила.

Цель: попробовать наладить нормальные отношения. Хочу поговорить с ним сказав, что я неправ был и он тоже. Или мы восстанавливаем нормальные отношения или прекращаем общение.

Хотя возможно уже у меня на него выработалась аллергия, и такое прощать не нельзя и не нужно.
И нужно просто завести себе новых адекватных друзей и чаще встречаться со старыми.