Cachéサーバが接続クライアントへの逆引き解決ができていないため、初期接続が遅くなっていると考えられます。

Cachéサーバ上の hosts ファイルに、接続クライアント情報（マシン名とIPアドレス）を登録することで、問題が解決するケースが多いです。