как лишить отца родительских прав

Здравствуйте! Мы с мужем 4 года в разводе. Есть 2-е совместных детей. В их жизни и воспитании муж никогда не участвовал. Когда мы были в браке, не редко избивал меня и моего сына от 1-го брака. Заявлений в полицию на него я не писала. Он частенько выпивал, деньги домой не приносил. Сейчас устроился на работу. Стал претендовать на старшую дочь (7 лет). Недавно произошел конфликт. Дочь его боится. В школу сейчас не ходит, т.к. муж пытается ее выкрасть и забрать к себе. Сказал, что подаст на меня в суд, т.к. я не даю ему ребенка(но это только сейчас и по просьбе дочери). Сейчас мы оформляем документы на обмен квартиры. Участковый сказал, что если мы напишем заявление на мужа, он не даст нам переехать. Посоветуйте, что нам делать?