String Slugification in Python

Ich bin auf der Suche nach dem besten Weg, um einen String zu "slugifizieren", was "slug" ist , und meine aktuelle Lösung basiert auf diesem Rezept

Ich habe es ein wenig geändert zu:

s = 'String to slugify'

slug = unicodedata.normalize('NFKD', s)
slug = slug.encode('ascii', 'ignore').lower()
slug = re.sub(r'[^a-z0-9]+', '-', slug).strip('-')
slug = re.sub(r'[-]+', '-', slug)

Hat jemand Probleme mit diesem Code? Es funktioniert gut, aber vielleicht fehlt mir etwas oder Sie kennen einen besseren Weg?

Es gibt ein Python-Paket mit dem Namen python-slugify, das ziemlich gute Arbeit beim Slugifizieren leistet:

pip install python-slugify

Funktioniert so:

from slugify import slugify

txt = "This is a test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = "This -- is a ## test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = 'C\'est déjà l\'été.'
r = slugify(txt)
self.assertEquals(r, "cest-deja-lete")

txt = 'Nín hǎo. Wǒ shì zhōng guó rén'
r = slugify(txt)
self.assertEquals(r, "nin-hao-wo-shi-zhong-guo-ren")

txt = 'Компьютер'
r = slugify(txt)
self.assertEquals(r, "kompiuter")

txt = 'jaja---lol-méméméoo--a'
r = slugify(txt)
self.assertEquals(r, "jaja-lol-mememeoo-a")

Siehe Weitere Beispiele

Dieses Paket bietet etwas mehr als das, was Sie veröffentlicht haben (sehen Sie sich die Quelle an, es ist nur eine Datei). Das Projekt ist noch aktiv (wurde 2 Tage vor meiner ursprünglichen Antwort aktualisiert, über sieben Jahre später (zuletzt überprüft am 30.06.2020), es wird immer noch aktualisiert).

Vorsicht : Es gibt ein zweites Paket mit dem Namen slugify. Wenn Sie beide haben, tritt möglicherweise ein Problem auf, da sie für den Import denselben Namen haben. Der gerade genannte slugifyhat nicht alles getan, was ich schnell überprüft habe: "Ich heiße"wurde "ich-heie"(sollte sein "ich-heisse"), also wählen Sie unbedingt den richtigen aus, wenn Sie pipoder verwenden easy_install.

Installieren Sie von hier aus das Unidecode-Formular für die Unicode-Unterstützung

Pip Unidecode installieren

# -*- coding: utf-8 -*-
import re
import unidecode

def slugify(text):
    text = unidecode.unidecode(text).lower()
    return re.sub(r'[\W_]+', '-', text)

text = u"My custom хелло ворлд"
print slugify(text)

>>> my-custom-khello-vorld

Es gibt ein Python-Paket namens awesome-slugify :

pip install awesome-slugify

Funktioniert so:

from slugify import slugify

slugify('one kožušček')  # one-kozuscek

awesome-slugify Github-Seite

Es funktioniert gut in Django , daher verstehe ich nicht, warum es keine gute Allzweck-Slugify-Funktion wäre.

Hast du irgendwelche Probleme damit?

Das Problem ist mit der ASCII-Normalisierungslinie:

slug = unicodedata.normalize('NFKD', s)

Es wird als Unicode-Normalisierung bezeichnet, bei der nicht viele Zeichen in ASCII zerlegt werden. Beispielsweise würden Nicht-ASCII-Zeichen aus den folgenden Zeichenfolgen entfernt:

Mørdag -> mrdag
Æther -> ther

Ein besserer Weg, dies zu tun, ist die Verwendung des Unidecode- Moduls, das versucht, Zeichenfolgen in ASCII zu transliterieren. Wenn Sie also die obige Zeile durch Folgendes ersetzen:

import unidecode
slug = unidecode.unidecode(s)

Sie erhalten bessere Ergebnisse für die oben genannten Zeichenfolgen und auch für viele griechische und russische Zeichen:

Mørdag -> mordag
Æther -> aether

def slugify(value):
    """
    Converts to lowercase, removes non-word characters (alphanumerics and
    underscores) and converts spaces to hyphens. Also strips leading and
    trailing whitespace.
    """
    value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore').decode('ascii')
    value = re.sub('[^\w\s-]', '', value).strip().lower()
    return mark_safe(re.sub('[-\s]+', '-', value))
slugify = allow_lazy(slugify, six.text_type)

Dies ist die Slugify-Funktion in django.utils.text. Dies sollte Ihrer Anforderung genügen.

Unidecode ist gut; Seien Sie jedoch vorsichtig: Unidecode ist GPL. Wenn diese Lizenz nicht passt, verwenden Sie diese

Einige Optionen auf GitHub:

1. https://github.com/dimka665/awesome-slugify
2. https://github.com/un33k/python-slugify
3. https://github.com/mozilla/unicode-slugify

Jedes unterstützt leicht unterschiedliche Parameter für seine API, daher müssen Sie durchsehen, um herauszufinden, was Sie bevorzugen.

Beachten Sie insbesondere die verschiedenen Optionen für den Umgang mit Nicht-ASCII-Zeichen. Pydanny hat einen sehr hilfreichen Blog-Beitrag geschrieben, in dem einige der Unterschiede beim Umgang mit Unicode in diesen Slugify-Bibliotheken dargestellt werden: http://www.pydanny.com/awesome-slugify-human-readable-url-slugs-from-any-string.html Dieser Blog-Beitrag ist etwas veraltet, weil Mozillaunicode-slugify nicht mehr Django-spezifisch ist.

Beachten Sie auch, dass es sich derzeit awesome-slugifyum GPLv3 handelt, obwohl es ein offenes Problem gibt, bei dem der Autor angibt, dass er es vorziehen würde, als MIT / BSD zu veröffentlichen, aber nicht sicher ist, ob dies legal ist: https://github.com/dimka665/awesome-slugify/issues/ 24

Sie können die letzte Zeile in ändern

slug=re.sub(r'--+',r'-',slug)

da das Muster [-]+nicht anders ist als -+und es Ihnen nicht wirklich wichtig ist, nur einen Bindestrich, nur zwei oder mehr zu finden.

Aber das ist natürlich ziemlich gering.

Eine andere Option ist boltons.strutils.slugify. Boltons hat noch einige andere nützliche Funktionen und wird unter einer BSDLizenz vertrieben.