Marino,
Separe as providências a serem tomadas em dois grupos:
1- As que você pode tomar independentemente da participação do antigo contador e,
2 - as que deve tomar envolvendo-o inteiramente.
As primeiras dizem respeito à situação da empresa perante os órgãos públicos, ou seja, pode pedir Certidões Negativas de tudo (áreas federal, estadual e municipal) com isto você terá certeza se a empresa tem ou não débitos tributários, inclusive sua situação quanto ao cumprimento das Obrigações Acessórias (entrega das declarações e etc.)
As últimas dizem respeito a parte contábil, escrituração dos Livros, Balanços, Demonstrações e etc. Faça um Oficio endereçado ao Administrador da empresa dizendo da importância e da necessidade de ter os documentos (que relaciona) em seu escritório, para possíveis consultas, comprovações e ou prováveis apresentações ao Fisco e, relacione tudo o que o Contador deveria ter feito, assim como, Livros escriturados e encadernados, Balanços, Demonstrações, comprovantes de entrega de Declarações, documentos relacionados a área de recursos humanos e outros, mencionando inclusive os períodos a que se referem.
Peça ao Administrador a assinatura na via que ficará com você e alerte-o para o fato de que a responsabilidade pela não entrega dos documentos a você é inteiramente dele, haja vista que cabe a ele cobrá-los do contador anterior.
Elabore um Contrato de Prestação de Serviços Contábeis e.... Mãos à Obra!
Se a contabilidade deixou de ser feita, faça você a partir de um Balanço de Abertura. Assim estará colocando a "casa em ordem" sem o ônus da responsabilidade por um serviço que não foi prestado, mas que deve ter sido cobrado e (importante) estará também aumentando suas receitas!