Was bei mir wirklich viel gebracht hat ist die Cache Folder in der Server Ram zu legen. via SSH

mount tmpfs /var/www/var/cache -t tmpfs -o size=64m
mount tmpfs /var/www/var/session -t tmpfs -o size=64m

mit der Größe bin ich auch nicht sicher werde es mal mit deutliche mehr versuchen.