Amazon S3-Ausnahme: "Der angegebene Schlüssel existiert nicht"

Ich verwende den AmazonS3Client in einer Android-App mithilfe einer getObject-Anforderung, um ein Bild aus meinem Amazon S3-Bucket herunterzuladen.

Derzeit erhalte ich diese Ausnahme:

com.amazonaws.services.s3.model.AmazonS3Exception: 
The specified key does not exist.
 (Service: Amazon S3; Status Code: 404; Error Code: NoSuchKey;

Obwohl ich das Objekt mit dem angegebenen Schlüssel in meinem S3-Bucket sehen kann.

Nun, dieser Fehler ist eigentlich ziemlich einfach. Es bedeutet einfach, dass Ihre Datei nicht im S3-Bucket vorhanden ist. Mehrere Dinge könnten falsch sein:

1. Möglicherweise versuchen Sie, auf die falsche Datei zu verweisen. Überprüfen Sie den Pfad, den Sie abrufen wollten.

2. Wann immer die Datei hochgeladen wurde, muss sie fehlgeschlagen sein. Überprüfen Sie die Protokolle für Ihren S3Sync-Prozess, um festzustellen, ob Sie relevante Ausgaben finden können

Quelle

Für mich existierte das Objekt definitiv und wurde korrekt hochgeladen, aber seine s3-URL warf immer noch den gleichen Fehler:

<Code>NoSuchKey</Code>
<Message>The specified key does not exist.</Message>

Ich fand heraus, dass der Grund darin lag, dass mein Dateiname ein #Symbol enthielt , und ich denke, dass bestimmte Zeichen oder Symbole ebenfalls diesen Fehler verursachen.

Das Entfernen dieses Zeichens und das Generieren der neuen s3-URL hat mein Problem behoben.

Beachten Sie, dass dies auch dann passieren kann, wenn der Dateipfad aufgrund des eventuellen Konsistenzmodells von s3 korrekt ist . Grundsätzlich kann es zu einer gewissen Latenz kommen, wenn ein Objekt nach dem Schreiben gelesen werden kann. Weitere Informationen finden Sie in dieser Dokumentation .

In meinem Fall trat der Fehler auf, weil ich den gesamten Ordner mit den Website-Dateien in den Container hochgeladen hatte.

Ich habe es gelöst, indem ich alle Dateien außerhalb des Ordners direkt in den Container verschoben habe.

In meinem Fall lag es daran, dass der Dateiname Leerzeichen enthielt. Es wurde dank dieser Dokumentation gelöst (die nichts mit dem Problem zu tun hat):

from urllib.parse import unquote_plus
key_name = unquote_plus(event['Records'][0]['s3']['object']['key'])

Sie müssen auch urllib als Layer mit der entsprechenden Version hochladen (wenn Ihr Lambda Python 3.7 ist, müssen Sie urllib in einer Python 3.7-Umgebung packen).

Der Grund ist, dass AWS '' in '+' umwandelt (warum ...), was wirklich problematisch ist ...

Der Grund für das Problem ist falsch oder ein Tippfehler im Bucket / Key-Namen. Überprüfen Sie, ob der von Ihnen angegebene Bucket- oder Schlüsselname vorhanden ist.

Vergessen Sie nicht, dass Eimer regionenspezifisch sind. Das könnte ein Problem sein.

Versuchen Sie auch, mit der S3-Konsole zum eigentlichen Objekt zu navigieren, und klicken Copy PathSie dann auf , um Folgendes zu erhalten:

s3://<bucket-name>/<path>/object.txt

Solange was auch immer Sie es an Parses weitergeben, finde ich, dass dies das Sicherste ist.

Schritt 1: Holen Sie sich die neuesten aws-java-sdk

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-aws -->
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk</artifactId>
<version>1.11.660</version>
</dependency>

Schritt 2: Die richtigen Importe

import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.regions.Region;
import com.amazonaws.regions.Regions;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.model.ListObjectsRequest;
import com.amazonaws.services.s3.model.ObjectListing;

Wenn Sie sicher , dass der Eimer vorhanden sind, Specified key does not exists errorwürde bedeuten , die bucketname nicht ist Dinkel richtig (enthält Slash oder Sonderzeichen). Informationen zur Namenskonvention finden Sie in der Dokumentation .

Das Dokument zitiert:

Wenn das angeforderte Objekt im Bucket verfügbar ist und Benutzer weiterhin den 404 NoSuchKey-Fehler von Amazon S3 erhalten, überprüfen Sie Folgendes:

Stellen Sie sicher, dass die Anforderung genau mit dem Objektnamen übereinstimmt, einschließlich der Großschreibung des Objektnamens. Bei Anforderungen für S3-Objekte wird zwischen Groß- und Kleinschreibung unterschieden. Wenn beispielsweise ein Objekt den Namen myimage.jpg trägt, Myimage.jpg jedoch angefordert wird, erhält der Anforderer einen 404 NoSuchKey-Fehler. Stellen Sie sicher, dass der angeforderte Pfad mit dem Pfad zum Objekt übereinstimmt. Wenn der Pfad zu einem Objekt beispielsweise awsexamplebucket / Downloads / February / Images / image.jpg lautet, der angeforderte Pfad jedoch awsexamplebucket / Downloads / February / image.jpg lautet, erhält der Anforderer einen 404 NoSuchKey-Fehler. Wenn der Pfad zum Objekt Leerzeichen enthält, stellen Sie sicher, dass die Anforderung die richtige Syntax verwendet, um den Pfad zu erkennen. Wenn Sie beispielsweise die AWS-CLI zum Herunterladen eines Objekts auf Ihren Windows-Computer verwenden, müssen Sie den Objektpfad in Anführungszeichen setzen, ähnlich wie: aws s3 cp "s3: // awsexamplebucket / Sicherungskopiejob 4 / 3T000000.vbk". Optional können Sie die Serverzugriffsprotokollierung aktivieren, um Anforderungsdatensätze detaillierter auf Probleme zu überprüfen, die möglicherweise den 404-Fehler verursachen.

AWSCredentials credentials = new BasicAWSCredentials(AWS_ACCESS_KEY_ID, AWS_SECRET_KEY);
AmazonS3 s3Client = AmazonS3ClientBuilder.standard().withRegion(Regions.US_EAST_1).build();
ObjectListing objects = s3Client.listObjects("bigdataanalytics");
System.out.println(objects.getObjectSummaries());

Ich bin auch auf dieses Problem gestoßen, aber in meinem Fall habe ich beim Erstellen des Zielschlüssels versehentlich den internen Status meines Quellobjektschlüssels geändert:

  source_objects.each do |item|
    key = item.key.sub!(source_prefix, dest_prefix)
    item.copy_to(bucket: dest_bucket, key: key)
  end

Ich bin neu bei Ruby und habe vermisst, dass sub!es Nebenwirkungen hat und substattdessen hätte verwendet werden sollen.