生父要告遺棄 - 開店

我今年32歲，母親與民國79年與生父離婚(因生父長年外遇及家暴與欠債)有次我國三因生父喝酒又動手打母親於是我出面制止也被打、那次後我跟母親說不要為了讓我與第地有父親而忍氣吞聲、離開對我們是好的。母親與79年與生父到律師事務所簽字離婚但生父條件是所有負債母親要背負、小孩放棄扶養由母親扶養。母親也答應了，那時負債是300多萬(79年300多萬對母親來說是天文數字)但是20幾年了我與母親、第第也是這樣苦過來。其實20幾年中生父也不斷來家裡亂、不是恐嚇要放火燒房子、就說要自殺(說了幾十年也沒看他死)。現在他是個正常人好手好腳要去領社會局救濟金，因社會局說他有子女說已不能領、所以生父就來告我與第第遺棄、請問生父告我們遺棄會成立嗎？當初他已經放棄我與第第的扶養權、完全沒盡到父親該有的責任、現在憑什麼要我們養他。(它的壞事寫3天3頁都寫不完)講一個誇張的:生父在這20幾年間共發出5張貼子(2張他個人喜貼、3張開店宴客的貼子、而且發放程度到母親的兄弟姊妹美個都收到，真是要錢不用奇招(當然收到貼子都是直接丟掉拉)
個位大人幫幫我如何解決、20幾年了生父這個人真是一被子惡夢
Update:
請問我要採取何種發律程序、例如先去法院申請斷絕父女關係還是什麼