殘疾人保障金退回的會計處理方式如下：
1. 首先，需要核對退回的金額是否與原來繳納的金額相符；
2. 然后，需要將退回的金額計入“其他收入”科目中；
3. 最后，需要在會計憑證中記錄該筆退款，包括憑證號、日期、摘要、借方金額和貸方金額等信息。

需要注意的是，如果該筆保障金屬于預收款項，則需要將退回的金額計入“預收賬款”科目中。