К сожалению, да, вы правы, скорость падает.
В вышеописанной ситуации архитектура сети такова, что приходится выбирать между скоростью и безопасностью.
В защиту этой идеи могу лишь предложить перепрошить роутер на OpenWRT, а также заявить, что "лучше 50% от номинальной скорости, чем отсутствие защиты от спуфинга!"