Hola

Se puede deber a varios factores como:

1) Esperas reales a nivel de comunicacion (network) entre Cliente y Servidor, como altas latencias entre ambas partes
2) Esperas o alto trafico porque probablemente tu BD se comunica via Database Links con otras BD
3) Si estas en Windows podria ser un virus en la red
4) Podrias tener configuradas tarjetas de red en 10 o 100Mbps cuando tal vez puedas usar 1000Mbps
5) Usuarios conectados pero esperando respuesta por parte del servidor. mientras esperan igualmente se estan comunicando con la BD.
5) etc.

Saludos,