Junto a lo que dice Vicente (por cierto, no conocía NPerf, gracias), también no estaría de más pasarle un Profiler y ver en qué parte podría utilizar esos algoritmos que vemos en la carrera y que hacen ganar en velocidad.
También se podría hacer uso del multithreading si la aplicación hace varias cosas (eso sí, con mucho ojo).
Y por último también puede utilizar NGen para que los assemblies se precompilen antes del despliegue.
Por curiosidad, ¿para qué es la aplicación?