拯救者电脑怎么样关闭大写键(资源｜简单快捷的数据处理，数据科学需要注意的命令行)

对很多数据科学家而言，他们的数据操作经常需要使用Pandas或者Tidyverse。理论上，这个说法没有任何错误，毕竟这就是这些工具存在的原因。然而，对于分隔符转换这样的简单任务而言，这些工具往往是大材小用，我们可以直接使用命令行快速处理。

命令行应该是每个开发者都希望掌握的，尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率，因此命令行还是计算机技术中的一个很棒的历史课。例如，awk这个数据驱动的脚本语言是1977年在BrinaKernighan的帮助下首次出现的，BrinaKernighan就是K&R这本书中的K。在50年后的今天，每年仍然能够出现与awk相关的新书。因此，我们可以相对保守地假设：一项针对命令行才能的投资在任何新近的时间内都不会贬值。

我们将会涉及以下内容

ICONVHEADTRWCSPLITSORT&UNIQCUTPASTEJOINGREPSEDAWK

ICONV（用来转换文件的编码方式）

文件编码可能是比较棘手的。现在的多数文件都是UTF-8编码，然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里，iconv是一个拯救者，它能以一种编码的文本为输入，输出另一种编码的文本。

#Converting-f(from)latin1(ISO-8859-1)#-t(to)standardUTF_8iconv-fISO-8859-1-tUTF-8< input.txt >output.txt

可选参数：

iconv-l列出所有已知的编码字符集合iconv-c忽略不能转换的非法字符，静默地丢弃

HEAD（用于显示文件的开头内容）

如果你是一个频繁使用Pandas的用户，那么你会比较熟悉df.head()。默认情况下head命令显示文件的前10行内容，当然我们也可以选择不同的参数确定打印的行数或字符数。

#Printsoutfirst10linesheadfilename.csv#Printfirst3lineshead-n3filename.csv

可选参数：

head-n<数字>打印特定数目的行数head-c<字符数>打印特定数目的字符

TR（对字符进行替换、压缩和删除）

tr与转译比较类似，它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符：

#Convertingatabdelimitedfileintocommascattab_delimited.txt|tr"\\t"","comma_delimited.csv

tr的另一个功能是由我们控制的内置[:class:]参数，这些用法包括：

[:alnum:]所有的字母和数字[:alpha:]所有的字母[:blank:]所有的水平空格[:cntrl:]所有的控制字符（非打印）[:digit:]所有的数字[:graph:]所有的可打印字符，不包含空格[:lower:]所有的小写字母[:print:]所有的可打印字符，包含空格[:punct:]所有的标点符号[:space:]所有的水平或垂直空格[:upper:]所有的大写字母[:xdigit:]所有的十六进制字符

我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序，我们可以用它来检查README文档。

catREADME.md|tr"[:punct:][:space:]""\n"|tr"[:upper:]""[:lower:]"|grep.|sort|uniq-c|sort-nr

使用基本正则表达式的另一个例子是：

#Convertingalluppercaseletterstolowercasecatfilename.csv|tr'[A-Z]''[a-z]'

可选参数：

tr-d删除字符tr-s压缩字符（将连续重复的字符用一个字符表示）\b空格\f换页符\v垂直制表符\NNN八进制字符NNN

WC（用来计数的命令）

它的值主要来自于-lflag，它会提供文档的行数。

#WillreturnnumberoflinesinCSVwc-lgigantic_comma.csv

这个工具可以方便地确认各种命令的输出。所以，如果我们转换了文件中的分隔符，那么运行wc-l就可以查看总行数是不是相同，不同就是出了问题。

可选参数：

wc-c打印Bytes数目wc-m打印出字符数wc-L打印出最长行的字符数wc-w打印出单词数目

SPLIT（把一个大文件分割成小文件的命令）

文件大小可以使用这个命令大幅度改变。根据任务的不同，分割文件可能会有所帮助，所以就有了split命令。split的基本语法如下：

#WewillsplitourCSVintonew_filenameevery500linessplit-l500filename.csvnew_filename_#filename.csv#lsoutput#new_filename_aaa#new_filename_aab#new_filename_aac

两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d标志来约定为数字。为了添加文件扩展名，您需要运行下面的find命令。它会改变当前路径下的所有文件名，给每个文件后面扩展.csv，所以，谨慎使用。

find.-typef-execmv'{}''{}'.csv\;#lsoutput#filename.csv.csv#new_filename_aaa.csv#new_filename_aab.csv#new_filename_aac.csv

可选参数：

split-b通过确定的字节大小分割split-a生成长度为N的后缀split-x使用十六进制后缀分割

SORT&UNIQ（sort：文件排序；uniq：报告或忽略文件中的重复行，与sort结合使用）

这两个命令提供了唯一的单词计数，这是因为uniq仅仅在重复的相邻行上运行。因此，这就是在输出之前进行排序的原因。一个有趣的注意事项是：sort-u会与sortfile.txt|uniq有着相同的结果。

对于数据科学家而言，排序具是一种潜在有用的能力：即基于特定列对整个CSV文件进行排序的能力。

#SortingaCSVfilebythesecondcolumnalphabeticallysort-t,-k2filename.csv#Numericallysort-t,-k2nfilename.csv#Reverseordersort-t,-k2nrfilename.csv

这里的-t选项将逗号作为我们的分隔符，通常会采用空格或者制表符。此外，-kflag用于指定关键词。

可选参数：

sort-f忽略大小写sort-r以相反的顺序排序sort-R乱序uniq-c统计出现的次数uniq-d仅仅打印重复行

CUT（cut命令用来显示行中的指定部分，删除文件中指定字段。）

cut用于删除列。举例来说，如果我们要删除第一列和第三列，可以使用cut：

cut-d,-f1,3filename.csv

选择除了第一列之外的每一列：

cut-d,-f2-filename.csv

与其他命令结合使用的时候，cut作为一个过滤器：

#Printfirst10linesofcolumn1and3,where"some_string_value"ispresentheadfilename.csv|grep"some_string_value"|cut-d,-f1,3

找到第二列中某个特定值出现的次数：

catfilename.csv|cut-d,-f2|sort|uniq|wc-l#Countoccurencesofuniquevalues,limitingtofirst10resultscatfilename.csv|cut-d,-f2|sort|uniq-c|head

PASTE（用于将多个文件按照列队列进行合并）

paste是一个简洁命令，具有一个有趣的功能。如果您有两个需要合并的文件，并且它们已经排序，paste能够实现这些功能。

#names.txtadamjohnzach#jobs.txtlawyeryoutuberdeveloper#JointhetwointoaCSVpaste-d','names.txtjobs.txt>person_data.txt#Outputadam,lawyerjohn,youtuberzach,developer

更具SQL风格的变体，请参见下文。

JOIN（连接并合并文件）

join命令是一个简单的、拟正切的SQL。最大的区别在于join将返回所有列，并且只能在一个字段上进行匹配。默认情况下，join将尝试使用第一列作为匹配键。对于不同的结果，必须使用以下语法:

#Jointhefirstfile(-1)bythesecondcolumn#andthesecondfile(-2)bythefirstjoin-t,-12-21first_file.txtsecond_file.txt

标准join是内部连接。但是，外部连接也可以通过-aflag实现。另一个值得注意的现象是-e标志，如果找到丢失的字段，它可以用来替换值。

#Outerjoin,replaceblankswithNULLincolumns1and2#-owhichfieldstosubstitute-0iskey,1.1isfirstcolumn,etc...join-t,-12-a1-a2-e'NULL'-o'0,1.1,2.2'first_file.txtsecond_file.txt

虽然不是最便于用户使用的命令，但是绝望的时候自有绝望的措施。

可选参数：

join-a打印不能匹配的行join-e替换丢失的输入字段join-j等价于-1FIELD-2FIELD

GREP（这是一种强大的文本搜索工具）

全面搜索正则表达式并打印（grep），这很可能是最出名的命令。grep有很多强大的能力，尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域，它充当着其它命令的细化机制。

#Recursivelysearchandlistallfilesindirectorycontaining'word'grep-lr'word'.#Listnumberoffilescontainingwordgrep-lr'word'.|wc-l

统计包含单词/模式的总行数

grep-c'some_value'filename.csv#Samething,butinallfilesincurrentdirectorybyfilenamegrep-c'some_value'*

使用\|运算子进行多值操作

grep"first_value\|second_value"filename.csv

可选参数：

aliasgrep="grep--color=auto"使grep色彩化grep-E使用扩展的正则表达式grep-w只匹配全字符grep-l打印出匹配的文件名grep-v反转匹配

SED（流编辑器）

sed是一个逐行运行的流编辑器。它擅长替换，但是也可以用于所有的重构（refactoring）。

最基本的sed命令包含s/old/new/g。这指的是搜索旧值，并用新值替换。如果没有/gour命令，终端将在第一次出现这个值之后停止。

为了快速体验这种能力，让我们来举个例子。若我们有以下文件:

balance,name$1,000,john$2,000,jack

我们想做的第一件事就是去掉美元符号。-iflag指的是位置，''标志指的是零长度的文件扩展名，然后覆盖初始文件。理想情况下，我们可以单独测试其中的每一个，然后输出到新文件。

sed-i'''s/\$//g'data.txt#balance,name#1,000,john#2,000,jack

接下来，我们处理balance中的逗号

sed-i'''s/\([0-9]\),\([0-9]\)/\1\2/g'data.txt#balance,name#1000,john#2000,jack

AWK（不仅仅是一个命令）

awk不仅仅是一个简单的命令：它是一种成熟的语言。在本文所涉及的所有内容中，awk是最酷的。如果你发现自己对awk印象深刻，也可以找更多的资源。

awk的用例包括：

文本处理格式化文本报告执行数学运算执行字符串操作

最新版的awk可以与grep并行使用。

awk'/word/'filename.csv

或者使用一些技巧将grep和cut结合起来。这里，对于所有我们要查找的word行，awk打印第三列和第四列和分隔符。-F，仅将分隔符改为逗号。

awk-F,'/word/{print$3"\t"$4}'filename.csv

awk内置了许多优秀的变量。例如，NF-字段数，NR-记录数。要在文件中获取第五十三条记录，代码如下:

awk-F,'NR==53'filename.csv

一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于string记录的行数和列数。

awk-F,'$1=="string"{printNR,$0}'filename.csv#Filterbasedoffofnumericalvalueinsecondcolumnawk-F,'$2==1000{printNR,$0}'filename.csv

多数值表达式：

#Printlinenumberandcolumnswherecolumnthreegreater#than2005andcolumnfivelessthanonethousandawk-F,'$3>=2005&&$5<= 1000 { print NR, $0 } ' filename.csv

对第三列求和：

awk-F,'{x+=$3}END{printx}'filename.csv

对第一列等于『something』的所有行，对它们的第三列求和。

awk-F,'$1=="something"{x+=$3}END{printx}'filename.csv

得到文件的维度：

awk-F,'END{printNF,NR}'filename.csv#Prettierversionawk-F,'BEGIN{print"COLUMNS","ROWS"};END{printNF,NR}'filename.csv

打印出现两次的行：

awk-F,'++seen[$0]==2'filename.csv

删除重复的行：

#Consecutivelinesawk'a!~$0;{a=$0}']#Nonconsecutivelinesawk'!a[$0]++'filename.csv#Moreefficientawk'!($0ina){a[$0];print}

使用内置函数gsub()替换多值：

awk'{gsub(/scarlet|ruby|puce/,"red");print}'

这个awk命令将合并多个CSV文件，忽略文件头，然后将其附加到末尾。

awk'FNR==1&&NR!=1{next;}{print}'*.csv>final_file.csv

需要缩减大量文件？awk可以在sed的帮助下处理这个问题。具体而言，这个命令可以基于行数将一个大文件拆分为多个小文件。

sed'1d;$d'filename.csv|awk'NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print>x}'#Example:splittingbig_data.csvintodata_(n).csvevery100,000linessed'1d;$d'big_data.csv|awk'NR0000==1{x="data_"++i".csv";}{print>x}'

结语

命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外，还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学，可以多找一些详细的资源。