全人類がやるべき設定その１です。
init.el や各種パッケージのソースコードを、 Emacs が処理しやすい形 (.elc) にあらかじめ変換しておきます。
M-x byte-compile-file でコンパイルできるので、片っ端からコンパイルしましょう。コンパイルされたファイルがあれば Emacs が勝手にそちらを優先してロードします。
dired を扱える方は、 dired-do-byte-compile という一括コンパイルコマンドがあるので、手動で入れているパッケージがたくさんある場合は便利です。
ソースコードを編集した時は再度バイトコンパイルするのを忘れないようにしましょう (自動化も手だと思います)。