我跟已婚男好上了，他兄弟老在背后骂我，我让已婚男删了他，他俩又加上了，该怎么办