房屋委賣契約的糾紛 - 事業

99年1月，
我的房子本來自已上網拍賣，同時也有讓一些房屋仲介委賣，
有一天晚上，我在家裡喝酒，喝到一半，
一家房屋仲介跑來找我說他要簽專賣，
我告訴他：「要簽可以，但我自已也可以賣；
同時和其他仲介委賣還沒到期你必需接受。」
那仲介同意並要我簽字，
簽字前，我沒看到合約上有違約賠償條文，
但我還是有問他剛剛那幾句話是否要加註進去？
他說：「說話算話，誠信最重要，不必了」。
所以我就簽了。
99年4月，
我把房子賣給自已的朋友，
那仲介卻跑來跟我要違約金，我很生氣當然不給，
99年5月，
現在收到他的「存證信函」，
請問：
我該怎麼辦？
已更新項目:
謝謝大家的回覆，房子已經辦了過戶了；
另，我有打電話去法律咨詢，但那裡的回答卻不是那麼的樂觀= =
他說：
1.首先，我必須舉證，家人不算的第三者，可以證明口頭上的協議，
要不然空口無憑。
2.定型化契約是不需要公證的，簽了字就算數，所以我勝算並不大。
3.仲介現在要求五萬元的合解金，不然上法院後就會依合約上的4%索賠，
所以叫我大事化小，賠錢了事。
以上是我咨詢後的結果。
真是如此?
為什麼和各位說的不太一樣呢?
2 個已更新項目:
二樓的大大你好，
若將那爛仲介公佈，
會不會又被他告一條「誣衊」？
因為平凡的我只是個上班族，
所以我不能告訴你，
是高雄橋X鄉的答X。
3 個已更新項目:
四樓的大大你好：
他當晚要我簽字後就沒再過來了，
這樣就代表他沒給我三天審視期?
還是我沒在三天內主動找他，
等同我放棄了三天審視期?
4 個已更新項目:
嗯我瞭解了，
我也聽說了「答答房屋」其實是「烏合之眾」，
至於正不正確，起碼在高雄橋頭，
個人我是給予肯定「是」的；
但因敝人是職業軍人，
實在不適合和民人有民事糾紛，
不然長官因怕事，就以「社會觀感不佳」為理由，
先給我行政處份，再要我低調處理；
雖然我是受害者，但軍人在現今就是弱勢，
千百不願意，萬般的無奈，
依長官叮囑，賠錢了事。
但感謝各位的解說，
尤其是「大頭」你，
不厭其煩的為我解答，
我會記住你，並會為你祈褔，
再次謝謝各位的回答。