想退休!但不夠老,卻也不想再上班 - 事業

我46 歲, 工作近20年, 無房貸車貸, 有自家住宅; 不做事, 每月也有近20萬收入, 不缺錢, 女19歲, 子 17歲, 好想退休悠閒過生活。
半年前, 因職業倦怠, 離職了, 很優閒地過活, 但老婆常會無意的比較別人的老公, 也希望能再有更好的生活條件, 但評估下來也沒甚麼可投資的頭緒, 於是我又開始找新的工作。 想說至少等勞保可到一次提領時再作打算, 到時兒女也都大學畢業了，不需煩惱了。
但現在等著報到上班的時間, 我心裡又開始想東想西, 又很捨不得現在悠閒無事的生活, 及自由自在在家想幹嘛就幹嘛的日子, 無事就看電影, 跟老婆喝下午茶....., 想到上班後, 每天朝9晚6, 離家那麼久, 心裡總會恐慌起來.... (充滿矛盾)
不知有沒有人有過此處情境及心態? 我這幾天心裡都很恐慌, 我是不是已經不適合上班工作了? 還是是都只跟自己家人相處, 已經變自閉了? 很痛苦, 希望有人能提供我紓解的方式。
還有, 目前有2個選擇機會, 一個是固定坐辦公室, 偶而出差展覽, 薪資較高, 福利好; 一個是較屬獨立業務, 需較常跑客戶, 廠商, 薪資低, 業績獎金高, 但一切憑本事。 不知各位認為哪個較好?
請各位大大協助小弟解解惑了, 謝謝!
已更新項目:
感謝各位的建議, 但如果能提供我如何讓自己不胡思亂想的有效方式, 我想再衝刺幾年應該是沒問題的。我經常會在忙碌煩心時, 不斷會回憶起悠閒及度假旅遊的情景, 然後就越想越煩, 心越恐慌, 真不知這是不是心理疾病, 還是因為年紀大了