あり得るのは公開鍵をいい感じのところに置けてない、公開鍵使うようなログイン設定ができてない、秘密鍵を読み出せてない、とかかなぁ