私は合気道や柔術の動きの絶対速度は遅いと思っています（異論がある方すみません）。
例えば、空手のように静止した状態からどれだけ最短時間で拳や足の速度を最高速にもっていくかを突き詰めていく（とこちらも異論は聞き流して）と考えられる武道では、いかに身体の動きの無駄を省いて絶対速度を上げるかが重要になるのでしょう。
もちろん、柔術においても絶対速度が速ければ速いほど相手に対してゆとりができるので技はかかりやすくなります。
しかし、物理的な速度には限界があるとともに、そもそもそれだけ絶対的な速度が出せるのであれば柔術より剛術の方が向いているのではないかと思います。
例えば、力積については速度が２倍になれば力積も２倍に、運動エネルギーについては速度が２倍になればエネルギーは４倍になります。
で、私自身はそんなスピードに自信がないこともあり、剛術は途中で断念しました。

それに対して柔術における速度は相対速度であると考えます。
相対速度という表現を用いると、相対速度であっても速度そのものは存在するのだから、やはり絶対速度は必要だろうという意見も出てくると思われるので、もう少しきちんと定義するなら、ここでの「相対速度」とはアインシュタインやガリレイの相対原理における「みかけの速度」の意味での速度を意味します。
例えば、かなり早い突きをさっと捌いたとします。この時絶対速度としてはたいしたことがない動きであっても、相手の突きを「いとも簡単に捌いた」という結果があれば、それを見た人にとっては「あんなに早い突きを捌いているのだから、捌く方の動きはもっと早いのだろう」と思われます。つまり、捌く方の速度は、突く方の速度を基準に評価されるのです。

これを別の言い方で言い換えると、如何に相手の速度にのせるかのような感覚で技を出すか、が腕の見せ所になるわけです。
それゆえ、柔術ではいかにに技術によって「相対速度」（特に相手に対して）を向上させるかが、最重要な課題になるわけです。
また、絶対速度ではなく相対速度であるがゆえに、物理的な肉体の力がなくなったあとの年齢でも技術が向上しうると思います。