linux下日志截取去重教程

通過查看最近一個月的日志，查詢最近都發生了哪些交易，交易日志輸出的相關元素是以"|"豎劃線分割，一行一個交易。通過awk先截取。

初始日志如下：

  20180911|ThreadPool3|LH2|LH4|MB|444|5200_2323|test

如下：awk -F '|' '{print $5 "|" $7}' /app/20180911.log >/app/20180911_transcode.log

在生成20180911_transcode.log日志中利用sort，uniq去重，如下：cat /app/20180911_transcode.log|sort|uniq，即可統計發生了哪些交易，比用excel去重來的簡單方便。