HTTP-Transfer: Curl lädt künftig URLs parallel
Bereits seit der ersten Veröffentlichung im Jahre 1998 lässt sich das Multifunktionswerkzeug zum Dateitransfer Curl mit einer Liste von URLs benutzen, die das Tool dann nacheinander abarbeitet. Nun, "kaum 22 Jahre später" , schreibt der Chefentwickler und Curl-Initiator Daniel Stenberg scherzhaft in seinem Blog(öffnet im neuen Fenster) , lädt Curl die Inhalte mehrerer URLs auch parallel herunter. Die Funktion selbst ist natürlich kein Scherz. Sie wird offiziell mit der stabilen Version 7.66.0 verfügbar sein, die am 11. September 2019 erscheinen soll.
Stenberg nennt auch die Begrenzungen der parallelen Arbeit des Werkzeugs. So funktioniere der parallele Download nur für verschiedene URLs, nicht aber für die Inhalte einer einzigen URL (Same File Splitting). Zudem lassen sich noch keine Statistiken für die einzelnen Downloads im Parallel-Szenario abrufen. Beides ließe sich in künftigen Versionen von Curl jedoch durchaus implementieren, versichert Stenberg. Der parallele Download werde zudem nicht als Standard eingeführt, Nutzer müssen diesen manuell aktivieren.
Um parallele Downloads zu starten, haben die Entwickler zwei Schalter, eine Langform und eine Kurzform, eingeführt: -parallel und -Z . Um die lokalen Sockets und die entfernten Server nicht zu überlasten, begrenzt das Tool die Zahl der Zugriffe standardmäßig auf 50. Über die Option -parallel-max kann die Zahl der möglichen Parallel-Downloads nach oben justiert werden. Den Fortschritt zeigt Curl dabei nicht für jeden einzelnen Download an, die Fortschrittsanzeige fasst alle Downloads zusammen.
Stenberg weist darüber hinaus darauf hin, dass diese Neuerung tatsächlich nur das viel genutzte Kommandozeilen-Werkzeug Curl betreffe. Die zugrunde liegende Bibliothek Libcurl habe mit der parallelen Übertragung auch bisher schon keine Probleme. Um die Funktion in Curl anzubieten, habe die Verwendung der Bibliothek lediglich angepasst werden müssen.