Ativando debug somente na hora de debugar

Edit o php.ini

no ubuntu: /etc/php/*/cli/php.ini

E adicione esta configuração:

[XDebug]
xdebug.mode=of
xdebug.start_with_request=yes

Na execução do arquivo via terminal, adicione os parâmetros para ativar, exemplo
XDEBUG_START_WITH_REQUEST=yes XDEBUG_MODE=debug,coverage,develop php arquivo.php