今更な話題ですが…。
Collection ViewなどのCellに、何も考えずに影をつけてスクロールが重くなってしまいました。

以下の2行を追加することで解消しました。

cell.layer.shouldRasterize = true
cell.layer.rasterizationScale = UIScreen.mainScreen().scale

実機で試してみたところ、shadowPathを設定しなくても十分効果がありそうです。 (シミュレータ上ではまだカクつきますが)

参考

影付きビューの表示を高速化する - Qiita