p/on6leb

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 4:56 AM

7

同樣是關於這個和那個的事情，現在仔細想想，這算是很陽春的資料庫操作吧，稍微來講講本科系的資料結構及應用吧
DataStructure Database

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:00 AM

在一般的認知中，先進先出的叫做 Queue (佇列)，後進先出的叫做 Stack (堆疊)，兩者是迥異的資料處理邏輯與結構，且需要特別的程式語言或資料庫支援才能使用

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:10 AM

但是對於本科系的人來說，不管是 Queue 還是 Stack 都可以用 Array (陣列) 來寫作出來，Queue 和 Stack 可以互相轉換的，可用 Queue 寫 Stack，反過來也可用 Stack 寫 Queue，這兩者的資料通常是用 Array 來寫作，然而 Array 可以用很多東西來代替，像是 Table (資料庫資料表) 或是 File (純文字檔案)，甚至是 File System (檔案系統內的檔案列表)

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:13 AM

然後就可以做出進階的功能，像是 Priority Queue (優先權佇列) 之類的....

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:19 AM

在工作上，常常需要從數千個資料檔內，總計上億筆 Log 撈取數百萬筆資料出來進行數據分析，全部丟到資料庫處理是不現實的，花兩三小時寫寫 Script 可以做完的事情，遠快於花好幾天把資料匯入資料庫...

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:30 AM

--

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:34 AM

在之前的程式碼中，我拿 grep ZZZ XXX 代替 select * from XXX where YYY like ZZZ

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:35 AM

拿 awk '{print $1,$2}' 代替 select $1,$2 from XXX

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:36 AM

拿 sort -k1 代替 select * from XXX order by YYY

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:38 AM

拿 sort | uniq 來代替 select distinct * from XXX

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:42 AM

拿 sort | uniq -c | grep -ivE '^ *1 ' 來代替 select count(YYY) from XXX where count(YYY) >= 1

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:43 AM

拿 cat XXXX | xargs -I pattern sh -c "yyyyyyyy" 來代替 for .... next 或 while ... until

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:47 AM

拿 cat XXXX | xargs -n 20000 | sed -r 's/ /\|/g' | xargs -I pattern sh -c "grep -iE 'pattern' YYYY" 來代替 select from YYYY where ZZZ in (select from XXXX)

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:48 AM

拿 cp XXXX YYYY > ZZZZ 代替 select from XXXX union select from YYYY

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:51 AM

最後再拿 awk '{printf("%-40s %s",$1,$2)}' 來做排版輸出

𝓢𝓸𝓹𝓹

@Sopp

Sat, Nov 20, 2021 5:51 AM

--