飲みの誘いがしつこい上司

会社の上司に毎週のように飲みに誘われます。毎回適当な理由をつけて断っているのですが、へこたれずに何度も誘われて本当にイライラします。
妻子持ちの上司と二人で飲みなんて職場の人に見られたら誤解されそうだし、何より何話したらいいかわからないし楽しくないので絶対行きたくありません！