Verbindung mit neuem SSH-Schlüssel nicht möglich (RSA 4096)

Aus einem unbekannten Grund besteht meine Arbeit darauf, RSA 4096-SSH-Schlüssel zu verwenden (auch wenn sie keine Passphrasen haben), und daher möchte ich, dass ich ein neues Paar erstelle (das alte ist "nur" RSA 2048 mit starker Passphrase).

Also habe ich mein altes Paar nach .ssh/id_rsa_legacyund verschoben .ssh/id_rsa_legacy.pub, dann habe ich ein neues mit erstellt

ssh_keygen -t rsa -b 4096 -o -a 100

Hört sich soweit gut an, aber warte !!!

Wenn ich mache

cp ~/.ssh/id_rsa_legacy.pub ~/.ssh/authorized_keys && ssh localhost

Ich kann mich verbinden, aber wenn doch

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys && ssh localhost

Ich bekomme eine Fehlermeldung

sign_and_send_pubkey: signing failed: agent refused operation

Außerdem ssh-add -lzeigt die beiden Tasten (alte zuerst, dann neue)

Ich habe mir stackoverflow & duckduckgo angeschaut, aber in allen Antworten wurde das Hinzufügen des neuen Schlüssels zur Verwendung besprochen, der ssh-addmeinen Fall nicht löst.