Ich versuche, Javas Äquivalent zu Groovys zu finden:

String content = "http://www.google.com".toURL().getText();

Ich möchte Inhalte von einer URL in eine Zeichenfolge lesen. Ich möchte meinen Code für eine so einfache Aufgabe nicht mit gepufferten Streams und Loops verschmutzen. Ich habe mir den HttpClient von Apache angesehen, sehe aber auch keine ein- oder zweizeilige Implementierung.

Nachdem einige Zeit vergangen ist, seit die ursprüngliche Antwort akzeptiert wurde, gibt es einen besseren Ansatz:

String out = new Scanner(new URL("http://www.google.com").openStream(), "UTF-8").useDelimiter("\\A").next();

Wenn Sie eine etwas umfassendere Implementierung wünschen, bei der es sich nicht um eine einzelne Zeile handelt, gehen Sie folgendermaßen vor:

public static String readStringFromURL(String requestURL) throws IOException
{
    try (Scanner scanner = new Scanner(new URL(requestURL).openStream(),
            StandardCharsets.UTF_8.toString()))
    {
        scanner.useDelimiter("\\A");
        return scanner.hasNext() ? scanner.next() : "";
    }
}

Diese Antwort bezieht sich auf eine ältere Version von Java. Vielleicht möchten Sie sich die Antwort von ccleve ansehen.

Hier ist der traditionelle Weg, dies zu tun:

import java.net.*;
import java.io.*;

public class URLConnectionReader {
    public static String getText(String url) throws Exception {
        URL website = new URL(url);
        URLConnection connection = website.openConnection();
        BufferedReader in = new BufferedReader(
                                new InputStreamReader(
                                    connection.getInputStream()));

        StringBuilder response = new StringBuilder();
        String inputLine;

        while ((inputLine = in.readLine()) != null) 
            response.append(inputLine);

        in.close();

        return response.toString();
    }

    public static void main(String[] args) throws Exception {
        String content = URLConnectionReader.getText(args[0]);
        System.out.println(content);
    }
}

Wie @extraneon vorgeschlagen hat, können Sie dies mit ioutils auf eine sehr beredte Weise tun, die immer noch im Java-Geist ist:

 InputStream in = new URL( "http://jakarta.apache.org" ).openStream();

 try {
   System.out.println( IOUtils.toString( in ) );
 } finally {
   IOUtils.closeQuietly(in);
 }

Oder verwenden Sie einfach Apache Commons IOUtils.toString(URL url) oder die Variante, die auch einen Codierungsparameter akzeptiert.

Nachdem mehr Zeit vergangen ist, können Sie dies in Java 8 folgendermaßen tun:

URLConnection conn = url.openConnection();
try (BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), StandardCharsets.UTF_8))) {
    pageText = reader.lines().collect(Collectors.joining("\n"));
}

Ab Java 9 gibt es einen noch besseren Weg:

URL u = new URL("http://www.example.com/");
try (InputStream in = u.openStream()) {
    return new String(in.readAllBytes(), StandardCharsets.UTF_8);
}

Wie im ursprünglichen groovigen Beispiel wird davon ausgegangen, dass der Inhalt UTF-8-codiert ist. (Wenn Sie etwas Klügeres benötigen, müssen Sie eine URLConnection erstellen und diese verwenden, um die Codierung herauszufinden.)

Zusätzliches Beispiel mit Guava:

URL xmlData = ...
String data = Resources.toString(xmlData, Charsets.UTF_8);

Wenn Sie den Eingabestream haben (siehe Joes Antwort), berücksichtigen Sie auch ioutils.toString (Eingabestream).

http://commons.apache.org/io/api-1.4/org/apache/commons/io/IOUtils.html#toString(java.io.InputStream )

Das Folgende funktioniert mit Java 7/8, sicheren URLs und zeigt, wie Sie Ihrer Anfrage auch ein Cookie hinzufügen können. Beachten Sie, dass dies meistens eine direkte Kopie dieser anderen großartigen Antwort auf dieser Seite ist , aber das Cookie-Beispiel hinzugefügt und klargestellt wurde, dass es auch mit sicheren URLs funktioniert ;-)

Wenn Sie eine Verbindung zu einem Server mit einem ungültigen Zertifikat oder einem selbstsignierten Zertifikat herstellen müssen, werden Sicherheitsfehler ausgegeben, sofern Sie das Zertifikat nicht importieren. Wenn Sie diese Funktionalität benötigen, können Sie den in dieser Antwort auf diese verwandte Frage zu StackOverflow beschriebenen Ansatz in Betracht ziehen .

Beispiel

String result = getUrlAsString("https://www.google.com");
System.out.println(result);

Ausgänge

<!doctype html><html itemscope="" .... etc

Code

import java.net.URL;
import java.net.URLConnection;
import java.io.BufferedReader;
import java.io.InputStreamReader;

public static String getUrlAsString(String url)
{
    try
    {
        URL urlObj = new URL(url);
        URLConnection con = urlObj.openConnection();

        con.setDoOutput(true); // we want the response 
        con.setRequestProperty("Cookie", "myCookie=test123");
        con.connect();

        BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));

        StringBuilder response = new StringBuilder();
        String inputLine;

        String newLine = System.getProperty("line.separator");
        while ((inputLine = in.readLine()) != null)
        {
            response.append(inputLine + newLine);
        }

        in.close();

        return response.toString();
    }
    catch (Exception e)
    {
        throw new RuntimeException(e);
    }
}

Hier ist Jeannes schöne Antwort, aber für Muppets wie mich eine ordentliche Funktion:

private static String getUrl(String aUrl) throws MalformedURLException, IOException
{
    String urlData = "";
    URL urlObj = new URL(aUrl);
    URLConnection conn = urlObj.openConnection();
    try (BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), StandardCharsets.UTF_8))) 
    {
        urlData = reader.lines().collect(Collectors.joining("\n"));
    }
    return urlData;
}

URL zu String in reinem Java

Beispielaufruf

 String str = getStringFromUrl("YourUrl");

Implementierung

Sie können die in dieser Antwort beschriebene Methode unter Lesen der URL zu einem InputStream verwenden und mit dieser Antwort unter Lesen der Eingabe von InputStream in String kombinieren .

Das Ergebnis wird so etwas wie sein

public String getStringFromUrl(URL url) throws IOException {
        return inputStreamToString(urlToInputStream(url,null));
}

public String inputStreamToString(InputStream inputStream) throws IOException {
    try(ByteArrayOutputStream result = new ByteArrayOutputStream()) {
        byte[] buffer = new byte[1024];
        int length;
        while ((length = inputStream.read(buffer)) != -1) {
            result.write(buffer, 0, length);
        }

        return result.toString(UTF_8);
    }
}

private InputStream urlToInputStream(URL url, Map<String, String> args) {
    HttpURLConnection con = null;
    InputStream inputStream = null;
    try {
        con = (HttpURLConnection) url.openConnection();
        con.setConnectTimeout(15000);
        con.setReadTimeout(15000);
        if (args != null) {
            for (Entry<String, String> e : args.entrySet()) {
                con.setRequestProperty(e.getKey(), e.getValue());
            }
        }
        con.connect();
        int responseCode = con.getResponseCode();
        /* By default the connection will follow redirects. The following
         * block is only entered if the implementation of HttpURLConnection
         * does not perform the redirect. The exact behavior depends to 
         * the actual implementation (e.g. sun.net).
         * !!! Attention: This block allows the connection to 
         * switch protocols (e.g. HTTP to HTTPS), which is <b>not</b> 
         * default behavior. See: /programming/1884230 
         * for more info!!!
         */
        if (responseCode < 400 && responseCode > 299) {
            String redirectUrl = con.getHeaderField("Location");
            try {
                URL newUrl = new URL(redirectUrl);
                return urlToInputStream(newUrl, args);
            } catch (MalformedURLException e) {
                URL newUrl = new URL(url.getProtocol() + "://" + url.getHost() + redirectUrl);
                return urlToInputStream(newUrl, args);
            }
        }
        /*!!!!!*/

        inputStream = con.getInputStream();
        return inputStream;
    } catch (Exception e) {
        throw new RuntimeException(e);
    }
}

Vorteile

• Es ist reines Java

• Es kann leicht erweitert werden, indem verschiedene Header hinzugefügt werden (anstatt ein Nullobjekt zu übergeben, wie im obigen Beispiel), Authentifizierung usw.

• Die Handhabung von Protokollschaltern wird unterstützt