哪個比較嚴重

有人造口業罵我，我會覺得他可能損害我名譽而要告，有點麻煩
有人對我下降頭，我只會覺得不用跟反智的人計較