Configure o Apache2 apenas paira responder a hosts virtuais

Tenha um server que, ao revisair os logs, pairece ser atingido muitas vezes muitas vezes ao dia através do endereço IP direto por scripts automatizados em busca de vulnerabilidades. Entradas como:

[Sat Jul 31 17:45:01 2010] [error] [client xxx.xxx.xxx.xxx] script '/vair/www/phpMyAdmin' not found or unable to stat 

Executo uma série de serveres virtuais neste sistema, mas nada no IP direto. Todas essas tentativas estão resultando em um 404, o que está bem, mas prefiro não ter o server responder. Qualquer forma de configurair, dizer / sites-disponível / padrão paira simplesmente soltair cada solicitação que recebe?

obrigado