Was macht der Systemaufruf brk ()?

Laut Linux-Programmierhandbuch:

brk () und sbrk () ändern den Ort der Programmunterbrechung, wodurch das Ende des Datensegments des Prozesses definiert wird.

Was bedeutet das Datensegment hier? Ist es nur das Datensegment oder Daten, BSS und Heap kombiniert?

Laut Wiki:

Manchmal werden die Daten-, BSS- und Heap-Bereiche gemeinsam als "Datensegment" bezeichnet.

Ich sehe keinen Grund, nur die Größe des Datensegments zu ändern. Wenn es sich um Daten, BSS und Heap handelt, ist dies sinnvoll, da Heap mehr Speicherplatz erhält.

Das bringt mich zu meiner zweiten Frage. In allen Artikeln, die ich bisher gelesen habe, sagt der Autor, dass der Haufen nach oben und der Stapel nach unten wächst. Was sie jedoch nicht erklären, ist, was passiert, wenn der Heap den gesamten Raum zwischen Heap und Stack einnimmt?

In dem von Ihnen geposteten Diagramm ist die "Unterbrechung" - die von brkund manipulierte Adresse sbrk- die gepunktete Linie oben auf dem Heap.

Die Dokumentation, die Sie gelesen haben, beschreibt dies als das Ende des "Datensegments", da in herkömmlichen (Pre-Shared-Libraries, Pre- mmap) Unix das Datensegment mit dem Heap kontinuierlich war. Vor dem Programmstart lud der Kernel die Blöcke "Text" und "Daten" ab Adresse Null in den RAM (tatsächlich etwas über Adresse Null, sodass der NULL-Zeiger wirklich auf nichts zeigte) und setzte die Unterbrechungsadresse auf das Ende des Datensegments. Der erste Aufruf von mallocwürde dann verwendet sbrk, um die Aufteilung zu verschieben und den Heap zwischen dem oberen Rand des Datensegments und der neuen, höheren Unterbrechungsadresse zu erstellen , wie im Diagramm gezeigt, und die anschließende Verwendung von mallocwürde ihn verwenden, um den Heap größer zu machen wie nötig.

In der Zwischenzeit beginnt der Stapel oben im Speicher und wächst nach unten. Der Stack benötigt keine expliziten Systemaufrufe, um ihn zu vergrößern. Entweder beginnt es mit so viel RAM, wie ihm jemals zugewiesen werden kann (dies war der traditionelle Ansatz), oder es gibt einen Bereich reservierter Adressen unterhalb des Stapels, dem der Kernel automatisch RAM zuweist, wenn er einen Versuch bemerkt, dort zu schreiben (Dies ist der moderne Ansatz). In beiden Fällen kann sich am unteren Rand des Adressraums ein "Schutz" -Bereich befinden oder nicht, der für den Stapel verwendet werden kann. Wenn diese Region existiert (alle modernen Systeme tun dies), wird sie dauerhaft nicht zugeordnet. wenn auch nichtWenn der Stapel oder der Heap versucht, hineinzuwachsen, wird ein Segmentierungsfehler angezeigt. Traditionell machte der Kernel jedoch keinen Versuch, eine Grenze durchzusetzen. Der Stapel könnte in den Heap hineinwachsen, oder der Heap könnte in den Stapel hineinwachsen, und so oder so würden sie sich gegenseitig über die Daten kritzeln und das Programm würde abstürzen. Wenn Sie sehr viel Glück hatten, würde es sofort abstürzen.

Ich bin nicht sicher, woher die Nummer 512 GB in diesem Diagramm stammt. Dies impliziert einen virtuellen 64-Bit-Adressraum, der nicht mit der sehr einfachen Speicherzuordnung übereinstimmt, die Sie dort haben. Ein echter 64-Bit-Adressraum sieht eher so aus:

              Legend:  t: text, d: data, b: BSS

Dies ist nicht remote skalierbar und sollte nicht so interpretiert werden, wie es ein bestimmtes Betriebssystem macht (nachdem ich es gezeichnet habe, stellte ich fest, dass Linux die ausführbare Datei tatsächlich viel näher an die Adresse Null bringt, als ich dachte, und die gemeinsam genutzten Bibliotheken bei überraschend hohen Adressen). Die schwarzen Bereiche dieses Diagramms sind nicht zugeordnet - jeder Zugriff verursacht einen sofortigen Segfault - und sie sind im Verhältnis zu den grauen Bereichen gigantisch . Die hellgrauen Bereiche sind das Programm und seine gemeinsam genutzten Bibliotheken (es können Dutzende von gemeinsam genutzten Bibliotheken vorhanden sein). Jeder hat eine unabhängigeText- und Datensegment (und "bss" -Segment, das ebenfalls globale Daten enthält, jedoch auf All-Bit-Null initialisiert wird, anstatt Speicherplatz in der ausführbaren Datei oder Bibliothek auf der Festplatte zu belegen). Der Heap ist nicht mehr unbedingt kontinuierlich mit dem Datensegment der ausführbaren Datei - ich habe es so gezeichnet, aber es sieht so aus, als würde Linux das zumindest nicht tun. Der Stapel ist nicht mehr an den oberen Rand des virtuellen Adressraums gebunden, und der Abstand zwischen dem Heap und dem Stapel ist so groß, dass Sie sich keine Sorgen mehr machen müssen, ihn zu überqueren.

Die Pause ist immer noch die Obergrenze des Haufens. Was ich jedoch nicht gezeigt habe, ist, dass es Dutzende von unabhängigen Speicherzuordnungen geben könnte, die irgendwo schwarze Zahlen schreiben, die mit mmapstatt gemacht wurden brk. (Das Betriebssystem wird versuchen, diese von dem brkBereich fernzuhalten , damit sie nicht kollidieren.)

Minimal lauffähiges Beispiel

Was macht der Systemaufruf brk ()?

Bittet den Kernel, Sie lesen und in einen zusammenhängenden Speicherblock namens Heap schreiben zu lassen.

Wenn Sie nicht fragen, kann dies zu einem Segfault führen.

Ohne brk:

#define _GNU_SOURCE
#include <unistd.h>

int main(void) {
    /* Get the first address beyond the end of the heap. */
    void *b = sbrk(0);
    int *p = (int *)b;
    /* May segfault because it is outside of the heap. */
    *p = 1;
    return 0;
}

Mit brk:

#define _GNU_SOURCE
#include <assert.h>
#include <unistd.h>

int main(void) {
    void *b = sbrk(0);
    int *p = (int *)b;

    /* Move it 2 ints forward */
    brk(p + 2);

    /* Use the ints. */
    *p = 1;
    *(p + 1) = 2;
    assert(*p == 1);
    assert(*(p + 1) == 2);

    /* Deallocate back. */
    brk(b);

    return 0;
}

GitHub stromaufwärts .

Das Obige trifft möglicherweise nicht auf eine neue Seite und auch ohne das nicht auf Segfault. brkHier ist also eine aggressivere Version, die 16 MB zuweist und sehr wahrscheinlich ohne das brkfolgende Fehler auftritt :

#define _GNU_SOURCE
#include <assert.h>
#include <unistd.h>

int main(void) {
    void *b;
    char *p, *end;

    b = sbrk(0);
    p = (char *)b;
    end = p + 0x1000000;
    brk(end);
    while (p < end) {
        *(p++) = 1;
    }
    brk(b);
    return 0;
}

Getestet unter Ubuntu 18.04.

Visualisierung des virtuellen Adressraums

Vorher brk:

+------+ <-- Heap Start == Heap End

Nachher brk(p + 2):

+------+ <-- Heap Start + 2 * sizof(int) == Heap End 
|      |
| You can now write your ints
| in this memory area.
|      |
+------+ <-- Heap Start

Nachher brk(b):

+------+ <-- Heap Start == Heap End

Um Adressräume besser zu verstehen, sollten Sie sich mit Paging vertraut machen: Wie funktioniert x86-Paging? .

Warum brauchen wir beide brkund sbrk?

brkkönnte natürlich mit sbrk+ Offset-Berechnungen implementiert werden, beide existieren nur der Einfachheit halber.

Im Backend verfügt der Linux-Kernel v5.0 über einen einzigen Systemaufruf brk, mit dem beide implementiert werden: https://github.com/torvalds/linux/blob/v5.0/arch/x86/entry/syscalls/syscall_64. tbl # L23

12  common  brk         __x64_sys_brk

Ist brkPOSIX?

brkFrüher war es POSIX, aber es wurde in POSIX 2001 entfernt, sodass _GNU_SOURCEauf den Glibc-Wrapper zugegriffen werden muss.

Das Entfernen ist wahrscheinlich auf die Einführung zurückzuführen mmap, bei der es sich um eine Obermenge handelt, mit der mehrere Bereiche und mehr Zuordnungsoptionen zugewiesen werden können.

Ich denke, es gibt keinen gültigen Fall, in dem Sie brkanstelle von mallocoder mmapheutzutage verwenden sollten.

brk vs. malloc

brkist eine alte Möglichkeit der Implementierung malloc.

mmapist der neuere, streng leistungsfähigere Mechanismus, den wahrscheinlich alle POSIX-Systeme derzeit zur Implementierung verwenden malloc. Hier ist ein Beispiel für eine minimale lauffähige mmapSpeicherzuweisung .

Kann ich mischen brkund malloc?

Wenn Ihr mallocmit implementiert ist brk, habe ich keine Ahnung, wie das möglicherweise nicht explodieren kann, da brknur ein einziger Speicherbereich verwaltet wird.

Ich konnte jedoch nichts darüber in den glibc-Dokumenten finden, z.

• https://www.gnu.org/software/libc/manual/html_mono/libc.html#Resizing-the-Data-Segment

Die Dinge werden wahrscheinlich nur dort funktionieren, da sie mmapwahrscheinlich für verwendet werden malloc.

Siehe auch:

• Was ist unsicher / Vermächtnis an brk / sbrk?
• Warum ergibt der zweimalige Aufruf von sbrk (0) einen anderen Wert?

Mehr Info

Intern entscheidet der Kernel, ob der Prozess so viel Speicher haben kann, und reserviert Speicherseiten für diese Verwendung.

Dies erklärt, wie der Stapel mit dem Heap verglichen wird: Welche Funktion haben die Push / Pop-Anweisungen, die für Register in der x86-Assembly verwendet werden?

Sie können brkund sich sbrkselbst verwenden, um den "Malloc Overhead" zu vermeiden, über den sich alle immer beschweren. Sie können diese Methode jedoch nicht einfach in Verbindung mit verwenden, mallocsodass sie nur dann angemessen ist, wenn Sie freenichts benötigen . Weil du nicht kannst. Außerdem sollten Sie Bibliotheksaufrufe vermeiden, die möglicherweise mallocintern verwendet werden. Dh. strlenist wahrscheinlich sicher, aber fopenwahrscheinlich nicht.

Rufen sbrkSie an, wie Sie anrufen würden malloc. Es gibt einen Zeiger auf die aktuelle Unterbrechung zurück und erhöht die Unterbrechung um diesen Betrag.

void *myallocate(int n){
    return sbrk(n);
}

Während Sie einzelne Zuteilungen , die nicht frei ist (weil es keine ist malloc-Overhead , erinnern), Sie können kostenlos den gesamten Raum durch den Aufruf brkdurch den ersten Aufruf zurückgegeben mit dem Wert sbrk, also die brk Zurückspulen .

void *memorypool;
void initmemorypool(void){
    memorypool = sbrk(0);
}
void resetmemorypool(void){
    brk(memorypool);
}

Sie können diese Regionen sogar stapeln und die neueste Region verwerfen, indem Sie die Unterbrechung zum Start der Region zurückspulen.

Eine Sache noch ...

sbrkist auch nützlich im Code Golf, weil es 2 Zeichen kürzer als ist malloc.

Es gibt eine speziell festgelegte anonyme Zuordnung des privaten Speichers (traditionell direkt hinter den Daten / BSS, aber modernes Linux passt den Speicherort tatsächlich mit ASLR an). Im Prinzip ist es nicht besser als jedes andere Mapping, mit dem Sie erstellen könnten mmap, aber Linux verfügt über einige Optimierungen, die es ermöglichen, das Ende dieses Mappings (mithilfe des brkSystemaufrufs) nach oben zu erweitern, wobei die Sperrkosten im Vergleich zu dem, was anfallen würde mmapoder fallen mremapwürde, reduziert werden . Dies macht es für mallocImplementierungen attraktiv , wenn sie den Hauptheap implementieren.

Ich kann Ihre zweite Frage beantworten. Malloc schlägt fehl und gibt einen Nullzeiger zurück. Aus diesem Grund suchen Sie beim dynamischen Zuweisen von Speicher immer nach einem Nullzeiger.

Der Heap wird zuletzt im Datensegment des Programms platziert. brk()wird verwendet, um die Größe des Heaps zu ändern (zu erweitern). Wenn der Heap nicht mehr wachsen kann, schlägt jeder mallocAufruf fehl.

Das Datensegment ist der Teil des Speichers, der alle Ihre statischen Daten enthält, die beim Start aus der ausführbaren Datei eingelesen und normalerweise mit Nullen gefüllt werden.

malloc verwendet den Systemaufruf brk, um Speicher zuzuweisen.

einschließen

int main(void){

char *a = malloc(10); 
return 0;
}

Führen Sie dieses einfache Programm mit strace aus, es wird brk system aufrufen.