Você não precisa responder o seu chefe fora do expediente

Este entendimento tem se consolidado com base no artigo 6º da CLT.

*Exceto se isso foi acordado no momento da contratação.

Para tanto observe o que dispõe o referido artigo:

Art. 6º Não se distingue entre o trabalho realizado no estabelecimento do empregador, o executado no domicílio do empregado e o realizado a distância, desde que estejam caracterizados os pressupostos da relação de emprego.

Parágrafo único. Os meios telemáticos e informatizados de comando, controle e supervisão se equiparam, para fins de subordinação jurídica, aos meios pessoais e diretos de comando, controle e supervisão do trabalho alheio.