Wie erhalte ich die aktuelle CPU- und RAM-Auslastung in Python?

Was ist Ihre bevorzugte Methode, um den aktuellen Systemstatus (aktuelle CPU, RAM, freier Speicherplatz usw.) in Python abzurufen? Bonuspunkte für * nix- und Windows-Plattformen.

Es scheint einige Möglichkeiten zu geben, dies aus meiner Suche zu extrahieren:

1. Verwenden einer Bibliothek wie PSI (die derzeit nicht aktiv entwickelt zu sein scheint und auf mehreren Plattformen nicht unterstützt wird) oder so etwas wie pystatgrab (wieder keine Aktivität seit 2007 und keine Unterstützung für Windows).

2. Verwenden von plattformspezifischem Code, z. B. Verwenden von a os.popen("ps")oder ähnlichem für die * nix-Systeme und MEMORYSTATUSin ctypes.windll.kernel32(siehe dieses Rezept in ActiveState ) für die Windows-Plattform. Man könnte eine Python-Klasse mit all diesen Codefragmenten zusammenstellen.

Es ist nicht so, dass diese Methoden schlecht sind, aber gibt es bereits eine gut unterstützte, plattformübergreifende Möglichkeit, dasselbe zu tun?

Die psutil-Bibliothek bietet Ihnen einige Systeminformationen (CPU- / Speicherauslastung) auf verschiedenen Plattformen:

psutil ist ein Modul, das eine Schnittstelle zum portablen Abrufen von Informationen zum Ausführen von Prozessen und zur Systemauslastung (CPU, Speicher) mithilfe von Python bietet und viele Funktionen implementiert, die von Tools wie ps, top und Windows Task Manager angeboten werden.

Derzeit werden Linux-, Windows-, OSX-, Sun Solaris-, FreeBSD-, OpenBSD- und NetBSD-Architekturen mit 32-Bit- und 64-Bit-Architekturen mit Python-Versionen von 2.6 bis 3.5 unterstützt (Benutzer von Python 2.4 und 2.5 verwenden möglicherweise die Version 2.1.3).

UPDATE: Hier sind einige Anwendungsbeispiele von psutil:

#!/usr/bin/env python
import psutil
# gives a single float value
psutil.cpu_percent()
# gives an object with many fields
psutil.virtual_memory()
# you can convert that object to a dictionary 
dict(psutil.virtual_memory()._asdict())

Verwenden Sie die Psutil-Bibliothek . Unter Ubuntu 18.04 installierte pip 5.5.0 (neueste Version) vom 30.01.2019. Ältere Versionen verhalten sich möglicherweise etwas anders. Sie können Ihre Version von psutil überprüfen, indem Sie dies in Python tun:

from __future__ import print_function  # for Python2
import psutil
print(psutil.__versi‌​on__)

So erhalten Sie einige Speicher- und CPU-Statistiken:

from __future__ import print_function
import psutil
print(psutil.cpu_percent())
print(psutil.virtual_memory())  # physical memory usage
print('memory % used:', psutil.virtual_memory()[2])

Das virtual_memory(Tupel) hat den prozentualen Speicher, der systemweit verwendet wird. Dies schien für mich unter Ubuntu 18.04 um einige Prozent überschätzt zu werden.

Sie können auch den von der aktuellen Python-Instanz verwendeten Speicher abrufen:

import os
import psutil
pid = os.getpid()
py = psutil.Process(pid)
memoryUse = py.memory_info()[0]/2.**30  # memory use in GB...I think
print('memory use:', memoryUse)

Dies gibt die aktuelle Speichernutzung Ihres Python-Skripts an.

Auf der Pypi-Seite für Psutil finden Sie einige ausführlichere Beispiele .

Nur für Linux: Einzeiler für die RAM-Nutzung mit nur stdlib-Abhängigkeit:

import os
tot_m, used_m, free_m = map(int, os.popen('free -t -m').readlines()[-1].split()[1:])

Bearbeiten: Angegebene Abhängigkeit des Lösungsbetriebssystems

Unten Codes, ohne externe Bibliotheken für mich gearbeitet. Ich habe bei Python 2.7.9 getestet

CPU auslastung

import os

    CPU_Pct=str(round(float(os.popen('''grep 'cpu ' /proc/stat | awk '{usage=($2+$4)*100/($2+$4+$5)} END {print usage }' ''').readline()),2))

    #print results
    print("CPU Usage = " + CPU_Pct)

Und Ram-Nutzung, insgesamt, gebraucht und kostenlos

import os
mem=str(os.popen('free -t -m').readlines())
"""
Get a whole line of memory output, it will be something like below
['             total       used       free     shared    buffers     cached\n', 
'Mem:           925        591        334         14         30        355\n', 
'-/+ buffers/cache:        205        719\n', 
'Swap:           99          0         99\n', 
'Total:        1025        591        434\n']
 So, we need total memory, usage and free memory.
 We should find the index of capital T which is unique at this string
"""
T_ind=mem.index('T')
"""
Than, we can recreate the string with this information. After T we have,
"Total:        " which has 14 characters, so we can start from index of T +14
and last 4 characters are also not necessary.
We can create a new sub-string using this information
"""
mem_G=mem[T_ind+14:-4]
"""
The result will be like
1025        603        422
we need to find first index of the first space, and we can start our substring
from from 0 to this index number, this will give us the string of total memory
"""
S1_ind=mem_G.index(' ')
mem_T=mem_G[0:S1_ind]
"""
Similarly we will create a new sub-string, which will start at the second value. 
The resulting string will be like
603        422
Again, we should find the index of first space and than the 
take the Used Memory and Free memory.
"""
mem_G1=mem_G[S1_ind+8:]
S2_ind=mem_G1.index(' ')
mem_U=mem_G1[0:S2_ind]

mem_F=mem_G1[S2_ind+8:]
print 'Summary = ' + mem_G
print 'Total Memory = ' + mem_T +' MB'
print 'Used Memory = ' + mem_U +' MB'
print 'Free Memory = ' + mem_F +' MB'

Hier ist etwas, das ich vor einiger Zeit zusammengestellt habe: Es sind nur Fenster, aber es kann Ihnen helfen, einen Teil dessen zu erledigen, was Sie tun müssen.

Abgeleitet von: "for sys available mem" http://msdn2.microsoft.com/en-us/library/aa455130.aspx

"Beispiele für einzelne Prozessinformationen und Python-Skripte" http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true

HINWEIS: Die WMI-Schnittstelle / der WMI-Prozess ist auch für die Ausführung ähnlicher Aufgaben verfügbar. Ich verwende sie hier nicht, da die aktuelle Methode meine Anforderungen abdeckt. Wenn sie jedoch eines Tages erweitert oder verbessert werden muss, sollten Sie möglicherweise die verfügbaren WMI-Tools untersuchen .

WMI für Python:

http://tgolden.sc.sabren.com/python/wmi.html

Der Code:

'''
Monitor window processes

derived from:
>for sys available mem
http://msdn2.microsoft.com/en-us/library/aa455130.aspx

> individual process information and python script examples
http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true

NOTE: the WMI interface/process is also available for performing similar tasks
        I'm not using it here because the current method covers my needs, but if someday it's needed
        to extend or improve this module, then may want to investigate the WMI tools available.
        WMI for python:
        http://tgolden.sc.sabren.com/python/wmi.html
'''

__revision__ = 3

import win32com.client
from ctypes import *
from ctypes.wintypes import *
import pythoncom
import pywintypes
import datetime


class MEMORYSTATUS(Structure):
    _fields_ = [
                ('dwLength', DWORD),
                ('dwMemoryLoad', DWORD),
                ('dwTotalPhys', DWORD),
                ('dwAvailPhys', DWORD),
                ('dwTotalPageFile', DWORD),
                ('dwAvailPageFile', DWORD),
                ('dwTotalVirtual', DWORD),
                ('dwAvailVirtual', DWORD),
                ]


def winmem():
    x = MEMORYSTATUS() # create the structure
    windll.kernel32.GlobalMemoryStatus(byref(x)) # from cytypes.wintypes
    return x    


class process_stats:
    '''process_stats is able to provide counters of (all?) the items available in perfmon.
    Refer to the self.supported_types keys for the currently supported 'Performance Objects'

    To add logging support for other data you can derive the necessary data from perfmon:
    ---------
    perfmon can be run from windows 'run' menu by entering 'perfmon' and enter.
    Clicking on the '+' will open the 'add counters' menu,
    From the 'Add Counters' dialog, the 'Performance object' is the self.support_types key.
    --> Where spaces are removed and symbols are entered as text (Ex. # == Number, % == Percent)
    For the items you wish to log add the proper attribute name in the list in the self.supported_types dictionary,
    keyed by the 'Performance Object' name as mentioned above.
    ---------

    NOTE: The 'NETFramework_NETCLRMemory' key does not seem to log dotnet 2.0 properly.

    Initially the python implementation was derived from:
    http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true
    '''
    def __init__(self,process_name_list=[],perf_object_list=[],filter_list=[]):
        '''process_names_list == the list of all processes to log (if empty log all)
        perf_object_list == list of process counters to log
        filter_list == list of text to filter
        print_results == boolean, output to stdout
        '''
        pythoncom.CoInitialize() # Needed when run by the same process in a thread

        self.process_name_list = process_name_list
        self.perf_object_list = perf_object_list
        self.filter_list = filter_list

        self.win32_perf_base = 'Win32_PerfFormattedData_'

        # Define new datatypes here!
        self.supported_types = {
                                    'NETFramework_NETCLRMemory':    [
                                                                        'Name',
                                                                        'NumberTotalCommittedBytes',
                                                                        'NumberTotalReservedBytes',
                                                                        'NumberInducedGC',    
                                                                        'NumberGen0Collections',
                                                                        'NumberGen1Collections',
                                                                        'NumberGen2Collections',
                                                                        'PromotedMemoryFromGen0',
                                                                        'PromotedMemoryFromGen1',
                                                                        'PercentTimeInGC',
                                                                        'LargeObjectHeapSize'
                                                                     ],

                                    'PerfProc_Process':              [
                                                                          'Name',
                                                                          'PrivateBytes',
                                                                          'ElapsedTime',
                                                                          'IDProcess',# pid
                                                                          'Caption',
                                                                          'CreatingProcessID',
                                                                          'Description',
                                                                          'IODataBytesPersec',
                                                                          'IODataOperationsPersec',
                                                                          'IOOtherBytesPersec',
                                                                          'IOOtherOperationsPersec',
                                                                          'IOReadBytesPersec',
                                                                          'IOReadOperationsPersec',
                                                                          'IOWriteBytesPersec',
                                                                          'IOWriteOperationsPersec'     
                                                                      ]
                                }

    def get_pid_stats(self, pid):
        this_proc_dict = {}

        pythoncom.CoInitialize() # Needed when run by the same process in a thread
        if not self.perf_object_list:
            perf_object_list = self.supported_types.keys()

        for counter_type in perf_object_list:
            strComputer = "."
            objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
            objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")

            query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
            colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread        

            if len(colItems) > 0:        
                for objItem in colItems:
                    if hasattr(objItem, 'IDProcess') and pid == objItem.IDProcess:

                            for attribute in self.supported_types[counter_type]:
                                eval_str = 'objItem.%s' % (attribute)
                                this_proc_dict[attribute] = eval(eval_str)

                            this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
                            break

        return this_proc_dict      


    def get_stats(self):
        '''
        Show process stats for all processes in given list, if none given return all processes   
        If filter list is defined return only the items that match or contained in the list
        Returns a list of result dictionaries
        '''    
        pythoncom.CoInitialize() # Needed when run by the same process in a thread
        proc_results_list = []
        if not self.perf_object_list:
            perf_object_list = self.supported_types.keys()

        for counter_type in perf_object_list:
            strComputer = "."
            objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
            objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")

            query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
            colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread

            try:  
                if len(colItems) > 0:
                    for objItem in colItems:
                        found_flag = False
                        this_proc_dict = {}

                        if not self.process_name_list:
                            found_flag = True
                        else:
                            # Check if process name is in the process name list, allow print if it is
                            for proc_name in self.process_name_list:
                                obj_name = objItem.Name
                                if proc_name.lower() in obj_name.lower(): # will log if contains name
                                    found_flag = True
                                    break

                        if found_flag:
                            for attribute in self.supported_types[counter_type]:
                                eval_str = 'objItem.%s' % (attribute)
                                this_proc_dict[attribute] = eval(eval_str)

                            this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
                            proc_results_list.append(this_proc_dict)

            except pywintypes.com_error, err_msg:
                # Ignore and continue (proc_mem_logger calls this function once per second)
                continue
        return proc_results_list     


def get_sys_stats():
    ''' Returns a dictionary of the system stats'''
    pythoncom.CoInitialize() # Needed when run by the same process in a thread
    x = winmem()

    sys_dict = { 
                    'dwAvailPhys': x.dwAvailPhys,
                    'dwAvailVirtual':x.dwAvailVirtual
                }
    return sys_dict


if __name__ == '__main__':
    # This area used for testing only
    sys_dict = get_sys_stats()

    stats_processor = process_stats(process_name_list=['process2watch'],perf_object_list=[],filter_list=[])
    proc_results = stats_processor.get_stats()

    for result_dict in proc_results:
        print result_dict

    import os
    this_pid = os.getpid()
    this_proc_results = stats_processor.get_pid_stats(this_pid)

    print 'this proc results:'
    print this_proc_results

http://monkut.webfactional.com/blog/archive/2009/1/21/windows-process-memory-logging-python

Wir haben uns dafür entschieden, die übliche Informationsquelle zu verwenden, da wir sofortige Schwankungen im freien Speicher feststellen konnten und das Gefühl hatten, die Meminfo abzufragen es für hilfreich hielt, Datenquelle . Dies hat uns auch geholfen, einige weitere verwandte Parameter zu erhalten, die vorab analysiert wurden.

Code

import os

linux_filepath = "/proc/meminfo"
meminfo = dict(
    (i.split()[0].rstrip(":"), int(i.split()[1]))
    for i in open(linux_filepath).readlines()
)
meminfo["memory_total_gb"] = meminfo["MemTotal"] / (2 ** 20)
meminfo["memory_free_gb"] = meminfo["MemFree"] / (2 ** 20)
meminfo["memory_available_gb"] = meminfo["MemAvailable"] / (2 ** 20)

Ausgabe als Referenz (wir haben alle Zeilenumbrüche für die weitere Analyse entfernt)

MemTotal: 1014500 kB MemFree: 562680 kB MemAvailable: 646364 kB Puffer: 15144 kB zwischengespeichert: 210720 kB SwapCached: 0 kB aktiv: 261476 kB inaktiv: 128888 kB aktiv (anon): 167092 kB inaktiv (anon): 20888 kB aktiv (anon) : 94384 kB Inaktiv (Datei): 108000 kB Nicht vorhersehbar: 3652 kB Gesperrt: 3652 kB SwapTotal: 0 kB SwapFree: 0 kB Schmutzig: 0 kB Rückschreibung: 0 kB AnonPages: 168160 kB Zugeordnet: 81352 kB Shmem: 21060 kB Platte: 34492 kB SReclaimable: 18044 kB SUnreclaim: 16448 kB KernelStack: 2672 kB Seitentabellen: 8180 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 507248 kB Committed_AS: 1038756 kB VmallocTotal: 343897 0 kB AnonHugePages: 88064 kB CmaTotal: 0 kB CmaFree: 0 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize:2048 kB DirectMap4k: 43008 kB DirectMap2M: 1005568 kB

Ich fühle mich wie diese Antworten für Python geschrieben wurden 2, und in jeder gemacht Erwähnung Fall keiner der Standard - resourcePaket , das für Python verfügbar ist 3. Es enthält Befehle zum Erhalt der Ressourcengrenzen eines bestimmten Prozesses (der Aufruf Python - Prozess Standard). Dies ist nicht das gleiche wie die aktuelle immer Nutzung von Ressourcen durch das System als Ganzes, aber es könnte einige der gleichen Probleme wie zB lösen „Ich möchte sicherstellen, verwende ich nur X viel RAM mit diesem Skript.“

"... aktueller Systemstatus (aktuelle CPU, RAM, freier Speicherplatz usw.)" Und "* nix- und Windows-Plattformen" können eine schwierige Kombination sein.

Die Betriebssysteme unterscheiden sich grundlegend in der Art und Weise, wie sie diese Ressourcen verwalten. In der Tat unterscheiden sie sich in Kernkonzepten wie der Definition, was als System und was als Anwendungszeit zählt.

"Freier Speicherplatz"? Was zählt als "Speicherplatz"? Alle Partitionen aller Geräte? Was ist mit fremden Partitionen in einer Multi-Boot-Umgebung?

Ich glaube nicht, dass es einen hinreichend klaren Konsens zwischen Windows und * nix gibt, der dies ermöglicht. In der Tat besteht möglicherweise nicht einmal ein Konsens zwischen den verschiedenen Betriebssystemen, die als Windows bezeichnet werden. Gibt es eine einzige Windows-API, die sowohl für XP als auch für Vista funktioniert?

Dieses Skript für die CPU-Auslastung:

import os

def get_cpu_load():
    """ Returns a list CPU Loads"""
    result = []
    cmd = "WMIC CPU GET LoadPercentage "
    response = os.popen(cmd + ' 2>&1','r').read().strip().split("\r\n")
    for load in response[1:]:
       result.append(int(load))
    return result

if __name__ == '__main__':
    print get_cpu_load()

• Verwenden Sie für CPU-Details die psutil- Bibliothek

  https://psutil.readthedocs.io/en/latest/#cpu

• Verwenden Sie für die RAM-Frequenz (in MHz) den eingebauten Linux-Bibliotheks- Dmidecode und manipulieren Sie die Ausgabe ein wenig;). Dieser Befehl benötigt eine Root-Berechtigung, daher geben Sie auch Ihr Passwort ein. Kopieren Sie einfach den folgenden Befehl und ersetzen Sie mypass durch Ihr Passwort

import os

os.system("echo mypass | sudo -S dmidecode -t memory | grep 'Clock Speed' | cut -d ':' -f2")

------------------- Ausgabe ---------------------------
1600 MT / s
Unbekannt
1600 MT / s
Unbekannt 0

• genauer gesagt
  [i for i in os.popen("echo mypass | sudo -S dmidecode -t memory | grep 'Clock Speed' | cut -d ':' -f2").read().split(' ') if i.isdigit()]

-------------------------- Ausgabe ----------------------- -
['1600', '1600']

Um eine zeilenweise Speicher- und Zeitanalyse Ihres Programms zu erhalten, empfehle ich die Verwendung von memory_profilerund line_profiler.

Installation:

# Time profiler
$ pip install line_profiler
# Memory profiler
$ pip install memory_profiler
# Install the dependency for a faster analysis
$ pip install psutil

Der gemeinsame Teil ist, dass Sie mithilfe der jeweiligen Dekoratoren angeben, welche Funktion Sie analysieren möchten.

Beispiel: Ich habe mehrere Funktionen in meiner Python-Datei main.py, die ich analysieren möchte. Einer von ihnen ist linearRegressionfit(). Ich muss den Dekorator verwenden @profile, der mir hilft, den Code in Bezug auf beides zu profilieren: Zeit und Speicher.

Nehmen Sie die folgenden Änderungen an der Funktionsdefinition vor

@profile
def linearRegressionfit(Xt,Yt,Xts,Yts):
    lr=LinearRegression()
    model=lr.fit(Xt,Yt)
    predict=lr.predict(Xts)
    # More Code

Für Zeit Profilieren ,

Lauf:

$ kernprof -l -v main.py

Ausgabe

Total time: 0.181071 s
File: main.py
Function: linearRegressionfit at line 35

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
    35                                           @profile
    36                                           def linearRegressionfit(Xt,Yt,Xts,Yts):
    37         1         52.0     52.0      0.1      lr=LinearRegression()
    38         1      28942.0  28942.0     75.2      model=lr.fit(Xt,Yt)
    39         1       1347.0   1347.0      3.5      predict=lr.predict(Xts)
    40                                           
    41         1       4924.0   4924.0     12.8      print("train Accuracy",lr.score(Xt,Yt))
    42         1       3242.0   3242.0      8.4      print("test Accuracy",lr.score(Xts,Yts))

Für Speicher Profilieren ,

Lauf:

$ python -m memory_profiler main.py

Ausgabe

Filename: main.py

Line #    Mem usage    Increment   Line Contents
================================================
    35  125.992 MiB  125.992 MiB   @profile
    36                             def linearRegressionfit(Xt,Yt,Xts,Yts):
    37  125.992 MiB    0.000 MiB       lr=LinearRegression()
    38  130.547 MiB    4.555 MiB       model=lr.fit(Xt,Yt)
    39  130.547 MiB    0.000 MiB       predict=lr.predict(Xts)
    40                             
    41  130.547 MiB    0.000 MiB       print("train Accuracy",lr.score(Xt,Yt))
    42  130.547 MiB    0.000 MiB       print("test Accuracy",lr.score(Xts,Yts))

Außerdem können die Ergebnisse des Speicherprofilers mithilfe von matplotlibverwendet werden

$ mprof run main.py
$ mprof plot

Hinweis: Getestet am

line_profiler version == 3.0.2

memory_profiler version == 0.57.0

psutil version == 5.7.0

Sie können psutil oder psmem mit Beispielprozess-Untercode verwenden

import subprocess
cmd =   subprocess.Popen(['sudo','./ps_mem'],stdout=subprocess.PIPE,stderr=subprocess.PIPE) 
out,error = cmd.communicate() 
memory = out.splitlines()

Referenz http://techarena51.com/index.php/how-to-install-python-3-and-flask-on-linux/

https://github.com/Leo-g/python-flask-cmd

Basierend auf dem CPU-Verwendungscode von @Hrabal verwende ich Folgendes:

from subprocess import Popen, PIPE

def get_cpu_usage():
    ''' Get CPU usage on Linux by reading /proc/stat '''

    sub = Popen(('grep', 'cpu', '/proc/stat'), stdout=PIPE, stderr=PIPE)
    top_vals = [int(val) for val in sub.communicate()[0].split('\n')[0].split[1:5]]

    return (top_vals[0] + top_vals[2]) * 100. /(top_vals[0] + top_vals[2] + top_vals[3])

Ich glaube nicht, dass es eine gut unterstützte Multi-Plattform-Bibliothek gibt. Denken Sie daran, dass Python selbst in C geschrieben ist, sodass jede Bibliothek einfach eine kluge Entscheidung darüber treffen wird, welches betriebssystemspezifische Code-Snippet ausgeführt werden soll, wie Sie oben vorgeschlagen haben.