Como posso fazer todos os types de files não reconhecidos como binarys no Apache2?

Estou construindo um server web distribuindo vários types de files binarys. (com Ubuntu) Eles têm extensões variables ​​e às vezes tem uma extensão errada. Mas atualmente, meu server Apache serve files desconhecidos como text. Então, eu tenho que fazer meu Apache2 servir todos os files como binarys por padrão, independentemente da extensão ou de qualquer metadado, exceto alguns casos explícitos. Como posso airquivair isso?