Verwandeln Sie einzelne Zeilen in eine durch Kommas getrennte Liste mit Anführungszeichen

Ich habe die folgenden Daten (eine Liste von R-Paketen, die aus einer Rmarkdown-Datei analysiert wurden), die ich in eine Liste umwandeln möchte, die ich zur Installation an R übergeben kann:

d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr

Ich möchte die Liste in eine Liste des Formulars verwandeln:

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

Ich habe derzeit eine Bash-Pipeline, die von der Rohdatei zur obigen Liste führt:

grep 'library(' Presentation.Rmd \
| grep -v '#' \
| cut -f2 -d\( \
| tr -d ')'  \
| sort | uniq

Ich möchte einen Schritt hinzufügen, um die neuen Zeilen in die durch Kommas getrennte Liste umzuwandeln. Ich habe versucht hinzuzufügen tr '\n' '","', was fehlschlägt. Ich habe auch eine Reihe der folgenden Stack Overflow-Antworten ausprobiert, die ebenfalls fehlschlagen:

• /programming/1251999/how-can-i-replace-a-newline-n-using-sed

Dies führt library(stringr)))phics)zu dem Ergebnis.

• /programming/10748453/replace-comma-with-newline-in-sed

Dies führt ,%zu dem Ergebnis.

• Kann sed neue Zeilenzeichen ersetzen?

Diese Antwort (mit -ientferntem Flag) erzeugt eine Ausgabe, die mit der Eingabe identisch ist.

Sie können mit sed Anführungszeichen hinzufügen und dann wie folgt Linien mit paste zusammenführen :

sed 's/^\|$/"/g'|paste -sd, -

Wenn Sie ein GNU-Coreutils-basiertes System (z. B. Linux) ausführen, können Sie das Trailing weglassen '-'.

Wenn Sie Daten mit DOS-Zeilenenden eingeben (wie von @phk vorgeschlagen), können Sie den Befehl wie folgt ändern:

sed 's/\r//;s/^\|$/"/g'|paste -sd, -

awk 'BEGIN { ORS="" } { print p"'"'"'"$0"'"'"'"; p=", " } END { print "\n" }' /path/to/list

awk 'BEGIN { ORS="" } { print p"\047"$0"\047"; p=", " } END { print "\n" }' /path/to/list

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

Das awkSkript selbst ohne all das Entrinnen ist BEGIN { ORS="" } { print p"'"$0"'"; p=", " } END { print "\n" }. Nach dem Ausdruck des ersten Eintrags wird die Variable pgesetzt (davor ist es wie eine leere Zeichenkette). Mit dieser Variablen wird pjeder Eintrag (oder in awk-speak: record ) vorangestellt und zusätzlich mit einfachen Anführungszeichen versehen. Die awkAusgabesatztrennungsvariable ORSwird nicht benötigt (da das Präfix dies für Sie erledigt), daher ist sie zum Zeitpunkt der BEGINEingabe leer . Oh und wir könnten unsere Datei ENDmit einem Zeilenumbruch versehen (zB so funktioniert es mit weiteren Textverarbeitungswerkzeugen); Sollte dies nicht benötigt werden, kann das Teil mit ENDund alles danach (innerhalb der einfachen Anführungszeichen) entfernt werden.

Wenn Sie Zeilenenden im Windows / DOS-Stil ( \r\n) haben, müssen Sie diese zuerst in den UNIX-Stil ( \n) konvertieren . Dazu können Sie tr -d '\015'am Anfang Ihrer Pipeline Folgendes einfügen:

tr -d '\015' < /path/to/input.list | awk […] > /path/to/output

(Vorausgesetzt, Sie haben keine Verwendung für \rs in Ihrer Datei. Sehr sichere Annahme hier.)

Alternativ können Sie dos2unix /path/to/input.listdie Datei auch einfach einmal ausführen, um sie direkt zu konvertieren.

Wie die verknüpfte Antwort von @ don_crissti zeigt, ist die Einfügeoption unglaublich schnell - das Piping des Linux-Kernels ist effizienter, als ich gedacht hätte, wenn ich es nicht gerade versucht hätte. Bemerkenswerterweise, wenn Sie mit einem einzelnen Komma zufrieden sind, das Ihre Listenelemente trennt, und nicht mit einem Komma + Leerzeichen, einer Einfügepipeline

(paste -d\' /dev/null - /dev/null | paste -sd, -) <input

ist schneller als selbst ein vernünftiges flexProgramm (!)

%option 8bit main fast
%%
.*  { printf("'%s'",yytext); }
\n/(.|\n) { printf(", "); }

Aber wenn nur eine anständige Leistung akzeptabel ist (und wenn Sie keinen Stresstest durchführen, können Sie keine konstanten Faktorunterschiede messen, sie sind alle augenblicklich) und Sie wollen sowohl Flexibilität mit Ihren als auch vernünftige Trennzeichen -Liner-y-Ness,

sed "s/.*/'&'/;H;1h;"'$!d;x;s/\n/, /g'

ist dein Ticket. Ja, es sieht aus wie Leitungsrauschen, aber die H;1h;$!d;xRedewendung ist der richtige Weg, um alles zu schlürfen. Sobald Sie erkennen, dass das Ganze tatsächlich leicht zu lesen ist, s/.*/'&'/folgt ein Schlürfen und ein Schlürfen s/\n/, /g.

edit: an der grenze zum absurden, es ist ziemlich einfach flex zu bekommen, um alles andere hohl zu schlagen, sag einfach stdio, dass du die eingebaute multithread / signalhandler sync nicht brauchst:

%option 8bit main fast
%%
.+  { putchar_unlocked('\'');
      fwrite_unlocked(yytext,yyleng,1,stdout);
      putchar_unlocked('\''); }
\n/(.|\n) { fwrite_unlocked(", ",2,1,stdout); }

und unter stress ist das 2-3x schneller als die paste pipelines, die selbst mindestens 5x schneller sind als alles andere.

Perl

Python Einzeiler:

$ python -c "import sys; print ','.join([repr(l.strip()) for l in sys.stdin])" < input.txt                               
'd3heatmap','data.table','ggplot2','htmltools','htmlwidgets','metricsgraphics','networkD3','plotly','reshape2','scales','stringr'

Funktioniert auf einfache Weise: Wir leiten die Datei input.txt mithilfe des Shell- <Operators nach stdin um , lesen jede Zeile in eine Liste, .strip()entfernen neue Zeilen und repr()erstellen eine in Anführungszeichen gesetzte Darstellung jeder Zeile. Die Liste wird dann über die .join()Funktion ,als Trennzeichen zu einem großen String zusammengefügt

Alternativ könnten wir verwenden, +um Anführungszeichen zu jeder entfernten Zeile zu verketten.

 python -c "import sys;sq='\'';print ','.join([sq+l.strip()+sq for l in sys.stdin])" < input.txt

Perl

Im Wesentlichen die gleiche Idee wie zuvor: Alle Zeilen lesen, Zeilenumbrüche entfernen, in einfache Anführungszeichen setzen, alles in das Array @cvs schreiben und mit Kommas verbundene Array-Werte ausdrucken.

$ perl -ne 'chomp; $sq = "\047" ; push @cvs,"$sq$_$sq";END{ print join(",",@cvs)   }'  input.txt                        

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

Ich denke, das Folgende sollte in Ordnung sein, vorausgesetzt, Ihre Daten befinden sich im Dateitext

d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr

Verwenden wir Arrays, bei denen die Substitution kalt ist:

#!/bin/bash
input=( $(cat text) ) 
output=( $(
for i in ${input[@]}
        do
        echo -ne "'$i',"
done
) )
output=${output:0:-1}
echo ${output//,/, }

Die Ausgabe des Skripts sollte wie folgt aussehen:

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

Ich glaube, das war es, wonach du gesucht hast?

Ich habe oft ein sehr ähnliches Szenario: Ich kopiere eine Spalte aus Excel und möchte den Inhalt in eine durch Kommas getrennte Liste konvertieren (zur späteren Verwendung in einer SQL-Abfrage wie ... WHERE col_name IN <comma-separated-list-here>).

Das habe ich in meiner .bashrc:

function lbl {
    TMPFILE=$(mktemp)
    cat $1 > $TMPFILE
    dos2unix $TMPFILE
    (echo "("; cat $TMPFILE; echo ")") | tr '\n' ',' | sed -e 's/(,/(/' -e 's/,)/)/' -e 's/),/)/'
    rm $TMPFILE
}

Ich lblführe dann ("zeilenweise") die cmd-Zeile aus, die auf die Eingabe wartet, füge den Inhalt aus der Zwischenablage ein, drücke <C-D>und die Funktion gibt die Eingabe zurück, die von umgeben ist (). Das sieht so aus:

$ lbl
1
2
3
dos2unix: converting file /tmp/tmp.OGM6UahLTE to Unix format ...
(1,2,3)

(Ich kann mich nicht erinnern, warum ich dos2unix hierher gebracht habe, vermutlich, weil dies häufig Probleme bei der Einrichtung meines Unternehmens verursacht.)

Einige Versionen von sed verhalten sich etwas anders, aber auf meinem Mac kann ich alles außer dem "Uniq" in sed verarbeiten:

sed -n -e '
# Skip commented library lines
/#/b
# Handle library lines
/library(/{
    # Replace line with just quoted filename and comma
    # Extra quoting is due to command-line use of a quote
    s/library(\([^)]*\))/'\''\1'\'', /
    # Exchange with hold, append new entry, remove the new-line
    x; G; s/\n//
    ${
        # If last line, remove trailing comma, print, quit
        s/, $//; p; b
    }
    # Save into hold
    x
}
${
    # Last line not library
    # Exchange with hold, remove trailing comma, print
    x; s/, $//; p
}
'

Unglücklicherweise muss man etwas tun, um das einzigartige Teil zu reparieren:

grep library Presentation.md | sort -u | sed -n -e '...'

--Paul

Es ist komisch, dass niemand, der eine Klartextliste von R-Paketen verwendet, um sie in R zu installieren, eine Lösung vorschlägt, die diese Liste direkt in R verwendet, aber mit bash, perl, python, awk, sed oder was auch immer kämpft, um Anführungszeichen und Kommas in das zu setzen aufführen. Dies ist überhaupt nicht notwendig und löst außerdem nicht, wie die transformierte Liste in R eingegeben und verwendet wird.

Sie können die Klartextdatei (sagte, packages.txt) einfach als Datenframe mit einer einzelnen Variablen laden, die Sie als Vektor extrahieren können und die direkt von verwendet werden kanninstall.packages . Konvertieren Sie es in ein verwendbares R-Objekt und installieren Sie diese Liste wie folgt:

df <- read.delim("packages.txt", header=F, strip.white=T, stringsAsFactors=F)
install.packages(df$V1)

Oder ohne externe Datei:

packages <-" 
d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr
"
df <- read.delim(textConnection(packages), 
header=F, strip.white=T, stringsAsFactors=F)
install.packages(df$V1)