簡介

最近在嘗試使用 Pulumi + ProxmoxVE 搭建 HomeLab 的開發環境

摸了一段時間後終於搞清楚怎麼用了，因此這邊簡單做個紀錄

我們這次使用的是 https://github.com/muhlba91/pulumi-proxmoxve 這個第三方的元件，他是透過 tf-bridge 再去使用 https://github.com/bpg/terraform-provider-proxmox 這個 terraform 的元件

安裝步驟

建立 Pulumi 專案

首先，我們先建立一個空資料夾作為專案的資料夾

並在資料夾中執行 pulumi new python 來建立一個新專案

我們會看到，資料夾的結構變成這樣

Pulumi.yaml 裡面出現的會是我們剛剛填入的資料，其中 options 可以指定 python 環境要不要由 Pulumi 控制，預設會在專案內建立 venv 這個資料夾，並使用該環境來執行 pulumi

如果想要由自己來管理環境的話，可以把這個選項拿掉，他就會用目前 shell 環境下的 python 去執行

name: homelab
runtime:
  name: python
  options:
    virtualenv: venv
description: a homelab iac

安裝套件

接下來就是安裝我們需要的元件，我們根據 說明，安裝對應語言的函式庫

這邊以 python 為例子，指令如下 pip install pulumi-proxmoxve

設定 provider

安裝完成後，就可以開始來設定我們的 provider 了

provider 需要的參數有以下這些

• resource_name - Pulumi 的辨識名稱，跟 Proxmox 無關，填一個好記的字串即可

• insecure - 是否跳過 TLS 檢查，這邊我選是

• endpoint - Proxmox 的位置，填入 IP Port 就好了

• api_token - 呼叫API時，用來驗證使用者身分的工具，可以在 datacenter 底下建立，建立完成後他會給你一個 UUID，再把 User 、 TokenID、剛剛拿到的 UUID 填入下面的程式即可

  

import pulumi
import pulumi_proxmoxve as pve

provider = pve.Provider(
    resource_name="{Name}",
    insecure=True,
    endpoint="https://{IP}:{Port}/",
    api_token="{User}!{TokenID}={UUID}",
)

給 APIToken 權限

接下來我們需要給 APIToken 相對應的權限，這邊我是給 PVEAdmin

給 LXC 名稱 + ID，以及登入用的 ssh key

接下來看看 LXC 的每個步驟分別需要那些基本參數

import pulumi
import pulumi_proxmoxve as pve
keys = ["{ssh public key}"] # 我是使用 ssh 登入，所以把 ssh publisc key 放這邊

pulumiTestCT = pve.ct.Container(
    resource_name="{Name}", 
    opts=pulumi.ResourceOptions(provider=provider), # 跟程式說使用我們之前設定的 provider 來執行操作
    vm_id={ID}, # CT ID
    unprivileged=True, # 對應到 unprivileged container
    started=True, # 設定完成後自動啟動
    start_on_boot=True, # 開機後自動啟動
    node_name="{NodeName}", # 對應到 node 那個欄位
    initialization=pve.ct.ContainerInitializationArgs(
        hostname="{Name}", # 對應到 Hostname 那個欄位
        user_account=pve.ct.ContainerInitializationUserAccountArgs(keys=keys),  # 我是使用 ssh 登入，所以把 ssh publisc key 放這邊
    ),
    features=pve.ct.ContainerFeaturesArgs(nesting=True) # 對應到 Nesting 
)

找到需要的 CT Template

可以使用 pveam list local 這個指令找出 CT template 的位置

pulumiTestCT = pve.ct.Container(
    resource_name="{Name}",
    opts=pulumi.ResourceOptions(provider=provider),
    vm_id={ID},
    unprivileged=True,
    started=True,
    start_on_boot=True,
    node_name="{NodeName}",
    features=pve.ct.ContainerFeaturesArgs(nesting=True),
    operating_system=pve.ct.ContainerOperatingSystemArgs( # 設定我們要的 OS
        template_file_id="local:vztmpl/debian-12-standard_12.2-1_amd64.tar.zst", # 可以使用 pveam list local 這個指令找出 CT template 的位置 
        type="debian", # 不同作業系統
    ),
    initialization=pve.ct.ContainerInitializationArgs(
        hostname="{Name}",
        user_account=pve.ct.ContainerInitializationUserAccountArgs(keys=keys),
    ),

)

設定開機硬碟

pulumiTestCT = pve.ct.Container(
    resource_name="{Name}",
    opts=pulumi.ResourceOptions(provider=provider),
    vm_id={ID},
    unprivileged=True,
    started=True,
    start_on_boot=True,
    node_name="{NodeName}",
    features=pve.ct.ContainerFeaturesArgs(nesting=True),
    operating_system=pve.ct.ContainerOperatingSystemArgs(
        template_file_id="local:vztmpl/debian-12-standard_12.2-1_amd64.tar.zst", 
        type="debian",
    ),
    initialization=pve.ct.ContainerInitializationArgs(
        hostname="{Name}",
        user_account=pve.ct.ContainerInitializationUserAccountArgs(keys=keys),
    ),
    disk=pve.ct.ContainerDiskArgs(datastore_id="localHDD"), # 指定要使用哪個儲存空間

)

設定 CPU/記憶體

因為這次只是測試，所以 CPU Memory 都不用填，都使用預設值就好

設定網路

pulumiTestCT = pve.ct.Container(
    resource_name="{Name}",
    opts=pulumi.ResourceOptions(provider=provider),
    vm_id={ID},
    unprivileged=True,
    started=True,
    start_on_boot=True,
    node_name="{NodeName}",
    features=pve.ct.ContainerFeaturesArgs(nesting=True),
    operating_system=pve.ct.ContainerOperatingSystemArgs(
        template_file_id="local:vztmpl/debian-12-standard_12.2-1_amd64.tar.zst", 
        type="debian",
    ),
    disk=pve.ct.ContainerDiskArgs(datastore_id="localHDD"),
    initialization=pve.ct.ContainerInitializationArgs(
        hostname="{Name}",
        user_account=pve.ct.ContainerInitializationUserAccountArgs(keys=keys),
        ip_configs=[
            pve.ct.ContainerInitializationIpConfigArgs(
                ipv4=pve.ct.ContainerInitializationIpConfigIpv4Args(
                    address="{IP/CIDR}", gateway="{Gateway}" # 設定 IP/CIDR + gateway
                )
            )
        ],
    ),
    network_interfaces=[
        pve.ct.ContainerNetworkInterfaceArgs(name="eth0", firewall=True) # 使用 eth0，並打開防火牆(也可以不開)
    ]

)

組合上述步驟 + 部屬

最後我們把所有步驟組合起來，會變成下面這樣，就大功告成了

現在我們可以使用 pulumi up 來部屬了

import pulumi
import pulumi_proxmoxve as pve
keys = ["{ssh public key}"] 

provider = pve.Provider(
    resource_name="{Name}",
    insecure=True,
    endpoint="https://{IP}:{Port}/",
    api_token="{User}!{TokenID}={UUID}",
)

pulumiTestCT = pve.ct.Container(
    resource_name="{Name}",
    opts=pulumi.ResourceOptions(provider=provider),
    vm_id={ID},
    unprivileged=True,
    started=True,
    start_on_boot=True,
    node_name="{NodeName}",
    features=pve.ct.ContainerFeaturesArgs(nesting=True),
    operating_system=pve.ct.ContainerOperatingSystemArgs(
        template_file_id="local:vztmpl/debian-12-standard_12.2-1_amd64.tar.zst", # pveam list local
        type="debian",
    ),
		disk=pve.ct.ContainerDiskArgs(datastore_id="localHDD"),
    initialization=pve.ct.ContainerInitializationArgs(
        hostname="{Name}",
        user_account=pve.ct.ContainerInitializationUserAccountArgs(keys=keys),
        ip_configs=[
            pve.ct.ContainerInitializationIpConfigArgs(
                ipv4=pve.ct.ContainerInitializationIpConfigIpv4Args(
                    address="192.168.51.5/24", gateway="192.168.51.1"
                )
            )
        ],
    ),
    network_interfaces=[
        pve.ct.ContainerNetworkInterfaceArgs(name="eth0", firewall=True)
    ]
   
)

悲觀鎖是認為同時修改資料的人很多，該特定資料被同時修改的機率比較大，因此會給資料加上一把鎖，只有先拿到鎖的人才有資格去修改資料，其餘的人只能排隊等待，直到第一個人修改完資料才有資格去修改資料

而樂觀鎖則是認為大部分時候同時修改資料的人不多，甚至只有一個人，因此該特定資料同時被修改的機率不高，所以很多人可以同時修改資料，但是只有第一個人的修改會被接受，其他人的修改都會被拒絕，只能重新跑一次修改資料的流程

悲觀鎖

悲觀鎖，Pessimistic Concurrency Control (PCC)

常見的悲觀鎖像是資料庫的 lock，或者是 排他鎖 mutex

優點

• 因為是先拿鎖，再修改資料，因此資料正確性比較有保障
• 通常我們能夠過資料庫來使用悲觀鎖，實作比較不容易出錯
• 資料庫級別的鎖也能確保資料不被認知外的應用程式改到

缺點

• 因為會需要處理加鎖機制，所以會產生額外開銷，效能比樂觀鎖差
• 有機率產生死鎖

樂觀鎖，Optimistic Concurrency Control (OCC)

常見的樂觀鎖像是 CAS (Compare and Swap) ，透過 CPU 層級的指令來做到 CAS

優點

• 沒有實際上鎖，所以效能比較好

缺點

• 需要自己實作，確保邏輯的正確性
• 如果同時修改數量很多，會失敗並重試很多次，比較消耗 CPU 資源
• ABA 問題，1 2 同時拿到 A 狀態，1 把狀態改成 B，這時候 3 把狀態改回 A，2 會以為狀態沒改過，因此會修改資料，但實際上資料已經不是 2 當時拿的資料了
  • ⇒ 解法，加上 遞增版本號或時間戳，確保不會被改回 A

優化技巧

• 縮小樂觀鎖的範圍
  • 樂觀鎖如果是要對數字做加減的話可以使用 DB 的增加/減少功能，並檢查做完後的條件是否符合條件，例如

參考資料

• https://kknews.cc/comic/x23nxv8.html

Status: Not started Tags: MySQL

MySQL :: MySQL 8.0 Reference Manual :: 15.7.1 InnoDB Locking

InnoDB 的 lock

主要分成這幾種

• Shared and Exclusive Locks

InnoDB 在 row-level 的 lock 有兩種不同的類型

• Shared(S) locks - 讓持有該 lock 的 transaction 能讀取這行 row 的資料
• Exclusive(X) locks - 讓持有該 lock 的 transaction 能修改 刪除這行 row 的資料

其中 S lock 是可以共享的， X lock 則不能

舉些例子

1. 如果 transaction t1 已經有 row r 的 S lock，那這時 transaction t2 要求 row r 的 lock 時
   • 如果 t2 要求 row r 的 S lock，則兩個. transaction 都能拿到 S lock， S lock 互相不排斥
   • 如果 t2 要求 row r 的 X lock，則 t2 需要等到 t1 做完後才能拿到 row r 的 X lock
2. 如果 transaction t1 已經有 row r 的 X lock，那這時無論 transaction t2 要求 X lock 或是 S lock 都需要等 t1 做完後才能拿到

• Intention Locks

InnoDB 支援不同顆粒度的鎖，像是 row lock，或者是 table lock

那假設現在 transaction t1 想要對整張表 table1 加上 X lock，此時 InnoDB 會需要先檢查 table1 這張表的每個 record 是否已經有被其他 transaction lock 了，才能決定是否要給 transaction t1 表級別的 lock。

但是，要掃描整張表的 record lock 效率太差了，因此才誕生出 intention lock，讓 InnoDB 能更好的判斷是否能夠給 transaction table 等級的 lock

Intention lock 表示某個 transaction 想要再這個 table 的某個 record 上加上鎖

因此

• intention shared lock (IS) 表示這張表上，有個 transaction 想要拿到某個 row 的 S lock
• intention exclusive lock (IX) 表示這張表上，有個 transaction 想要拿到某個 row 的 X lock

首先，先確立兩點規則

1. 任何 transaction 要拿 row S lock 時，必須先拿到該 table 的 intention share(IS) lock 或是更強的 lock
2. 任何 transaction 要拿 row X lock 時，必須先拿到該 table 的 intention exclusive(IX) lock

因此，如果一個 transaction 想要拿到 table 等級的 X 或 S lock，則我們只需要檢查該 table 有沒有被其他 transaction 加上 IX 或 IS lock，就能知道該不該給 table 等級的 X 或 S lock

也因此，IX 跟 IS 相互之間是不衝突的，只有當 table 等級的 S 或 X lock 來時，才要判斷是否能給 lock，下面是 table 級別 lock 的兼容性

• Record Locks

在 InnoDB 中 row lock 其實就是把該 row 的 cluster index 給 lock 住，因此 InnoDB 的 row lock 其實就是 record lock.

如果說該 table 沒有 cluster index，那 InnoDB 會自己建一個隱藏的 cluster index，並 lock 對應 row 的 index

• Gap Locks

用來鎖 兩個 index 中間範圍的鎖

例如下面這句執行時，會把 10 ~ 20 範圍內的鎖全部鎖起來，防止有其他 transaction 在中間插入新的 row

SELECT c1 FROM t WHERE c1 BETWEEN 10 and 20 FOR UPDATE;

這樣做是為了防止 幻讀 (Phantom Reads) 發生，亦即 t1 讀取同樣範圍兩次，但 t2 在這之間插入了一筆資料，這時候 t1 兩次讀出來的行數會不一樣，這就是 幻讀 (Phantom Reads)

也因為這是為了防止 幻讀 (Phantom Reads) 的發生，因此如果把 transaction isolation level 切成 READ COMMITTED 的話，就不會產生 gap lock

Gap lock 對於 unique index 無效，但對其他類型的 index 有效

例如下面這句

SELECT * FROM child WHERE id = 100;

如果 id 不是 unique index 的話，那 100 之前到下一個有效 index (例如 90) 之間的範圍 (91 ~ 100)會被鎖起來，然而，如果是 unique index ，則只會鎖上這行而已

此外，比較有趣的一點是 gap lock 是可以被多個 transaction 同時持有的，因為 gap lock 之間不衝突，都是執行同樣的功能 (防止 record 遭到變化)，也因此， S gap lock 跟 X gap lock 沒有區別

更多例子可以參考

带你了解record lock、gap lock、next-key lock - 掘金 (juejin.cn)

鎖( Lock )的介紹與死鎖分析

• Next-Key Locks

就是 record lock + gap lock，例如

SELECT * FROM child WHERE id = 100;

如果 id 不是 unique index 的話，那 100 之前到下一個有效 index (例如 90) 之間的範圍 (91 ~ 100)會被鎖起來，然而，如果是 unique index ，則只會鎖上這行而已

• Insert Intention Locks

是 gap lock 的一種，在插入前會要先取得，主要是讓兩個插入可以不用等待

例如 gap 是 10 ~ 20，這時候如果一個要插入 13 另一個插入 17 的話，這兩個插入就不會衝突，因此都可以拿到 Insert Intention lock

• AUTO-INC Locks

當插入有 AUTO_INCREMENT 的 table 時，則會把整張表 lock 住，其他想插入的 transaction 必須等到做完後才能繼續做，這樣做是為了取得連續的 index

我們可以透過 變數 innodb_autoinc_lock_mode 來控制 lock 的行為，詳細可以看 Section 15.6.1.6, “AUTO_INCREMENT Handling in InnoDB”

• Predicate Locks for Spatial Indexes

延伸閱讀

• 你的insert死锁了看这里 - 知乎 (zhihu.com)
• https://github.com/octachrome/innodb-locks

查詢上一個 pod 的 log

發現 pod 有重啟的紀錄，因此透過這指令去查死掉的 pod 的 logs 來得知發生甚麼事情

kubectl logs -f -n {NAMESPACE} pod/{PODNAME} --previous

畢業之後，在實驗室協助學長部屬要給聯合報使用的自然語言處理系統，由於速度過慢，因此首要任務便是提高模型的處理速度

常見的模型加速方法

1. 使用更好的硬體(GPU、CPU(AVX512)、FPGA)
2. 使用專門的運行環境 (ONNX)
3. 調整推理方式(降低無用的計算)

我的解法

使用 ONNX 及 支援 AVX512 的 CPU，並不使用 batch 計算，降低 batch 計算時出現的無用 padding

結果

將模型的 throughput 提高 9 倍， latency 降低至原本的 1/6

參考資料

• Scaling up BERT-like model Inference on modern CPU - Part 1
• Scaling up BERT-like model Inference on modern CPU - Part 2
• How We Scaled Bert To Serve 1+ Billion Daily Requests on CPUs - Roblox Blog
• How to 10x throughput when serving Hugging Face models without a GPU – Comet

• 目錄
• 流程
• 程式上機考
• Interview Mocha
• 性向測驗
• 英文測驗
• 主管面試
  • 竹科
  • 南科
• 人資面試

本篇簡單記錄了我在 109 年 12 月初到台積電求職 IT Engineer (預聘) 的過程

流程

台積電應徵流程主要分成下面幾個部分

1. 程式上機考 - 此為Coding測驗，適合對程式開發、測試、與應用有興趣者
2. Interview Mocha - 此為資訊基礎架構測驗，適合對網路、資料庫、Cloud與Big Data環境建置有興趣者
3. 性向測驗
4. 英文測驗
5. 主管面試
6. 人資面試

程式上機考

台積電使用 hackrank 這套系統，題目有三題，限制時間是 90 分鐘，可以使用任何語言跟該語言內建的函式庫(例如可以直接用 sort，除非題目有特別說明)
難易度大概是一題 easy，兩題 medium (leetcode 難度)，我因為沒有刷 leetcode 及 BFS 有點生疏了，導致這邊只拿到 1.5 題

Interview Mocha

主要是考你資訊基礎，例如 OS、網路、資料庫、SQL、雲端計算、AI 等等
題目都蠻基礎的，SQL、雲端計算、AI 非常簡單，而 OS、網路、資料庫 我忘了不少，所以一半是靠猜的，但是應該也是很基礎的東西 。

性向測驗

都是選擇題，主要是看你在遇到問題時會怎麼應對，以及吸收新知的渴望程度，這邊就誠實填寫就好，我朋友有說，如果面試主管發現你性向測驗跟你履歷不太符合的時候，就可能會挑出來問。。

英文測驗

我用我渣渣的 TOEIC 成績單(615)抵免，所以免試。

主管面試

預聘的話都會在竹科面試，而我是因為朋友的推薦，才又得到一個南科面試的機會

竹科

一進去有兩個主管，分別是管理基礎設施的團隊，還有工廠內程式的開發團隊，不過面試官跟進去後的主管不一定是同一個團隊的。
一開始會先要求你自我介紹，而後他們會從履歷中問感興趣的問題。
我一開始是被問到我怎麼用 ELK 做分析，主管會希望你講越詳細越好(例如打哪個 API)。

第二個問題是關於 API 的設計，你覺得你之前用過的某個開源程式，他 API 的設計如何，還有他使用上遇到的困難等等，這邊我回答得不是很好，因為我那時候最大的困難就是環境架設，所以我也就回答這樣而已，但現在想來，主管還是想要求回答得更加具體。

第三個問題是，你的主管讓你使用新/舊的技術，但你認為舊的或新的技術比較適合的時候，你會怎麼說服主管，我回答使用一個小 demo 以及說服身邊的人來說服主管，不過看的出來主管不是很滿意。

之後他們會讓你提問題，因為最後一個問題是新舊技術的取捨，以及聽說台積有用到 Flutter 跟 Serverless，因此讓我有點好奇台積電內部的基礎設施是怎麼演化的，然後也大概知道他們是從 裸機 -> VM -> 微軟的某個服務 -> Kubernetes 的變化，不過這變化其實就是遇到問題，然後想辦法克服的過程，他們也說，這些變化讓他們的流程大幅加快，Issue 從進來到部屬上線可能只需要不到 24 小時，行政流程也從幾個禮拜的層層批閱，進步到一天就能過關。

最後我問說我的缺點在哪邊，他們的看法是

1. 太過重視技術，但台積會比較想要能用技術解決問題的人
2. 技術細節沒有說得很清楚

個人認為我這次面試不太好QQ

南科

一進去有一個主管，南科聽起來是做兩部分，一個是把生產機器上的感應器資料拉出來(感覺就是手工活)，一個是維運，兩者都要 on call，跟竹科一樣，面試官跟進去後的主管不一定是同一個團隊的。
一樣一開始會先要求你自我介紹，而後他們會從履歷中問感興趣的問題。

我主要是被問到怎麼使用 GCP、Kubernetes、ELK、CI/CD 等等，剛好最近我正在使用這些，就說了一下我最近用來做什麼，跟竹科比，更像是純粹聊天XD
例如用過 GCP 的那些服務，Kubernetes 的環境(雲端還是地端，地端怎麼架設的)，怎麼用 Elasticsearch 分析文字資料，CI/CD 用來做啥等等。

之後主管介紹工作內容，南科聽起來是做兩部分，一個是把生產機器上的感應器資料拉出來(感覺就是手工活)，一個是維運，兩者都要 on call，上班時間是 8:30 ~ 7 or 8:00，然後你能問問題。

我這次是問未來的發展性，不過主管的回答比較偏公司內部的發展，不是工程師生涯的發展，另一個問題則是他們怎麼引入新技術，主管是跟我說

1. 遇到問題，這問題用新技術解比較好
2. 準備 2、3 頁 ppt 跟主管簡報優缺點
3. 主管認為可行就小規模引入
4. 逐漸擴大規模

人資面試

竹科跟南科好像共用，所以只由一次，他主要是問你寫在那應徵人員問卷上的問題，並且會問比較仔細，會通過一連串問題逐步深入，以及一些之外的問題，例如團隊內部衝突，你通常是怎麼解決的(我說我是個聆聽者)、時間有限，但內容做不完怎麼辦(我回答排定優先級)，還有你能不能接受加班等等。
我也認為我這次回答得不太好QQ

概念

1. 所有環境的變動變動都在 git 發生並記錄在 git
2. 能從 git 自動部屬

因此如果用是普通的 CI/CD ，在沒有人工介入修改行為一切都是用 git tigger 的情況下，應該也可以稱為 gitops

實作建議

1. Application repo 跟 environment repo 分開
2. push/pull base -> 推薦使用 pull base
   • push base 跟傳統 CD 差不多，較不推薦使用
   • pull base 推薦使用，自動化 process 放在 k8s 中，K8S 定期拉 git 上的環境設定，並自動更新環境，改 images tag 也會自動更新到 git 上的 env repo

優點

• 進退版方便
• 確保環境一致，不會有人為修改

實作

• ArgoCD
• Flux
• Pulumi

ArgoCD

特性

• 原生做不到金絲雀部屬，要使用 argo rollout
• for K8S only
• pull base
• 只觀察 git repo
• dex - 預設搭配作認證
• repo-server - 觀察 github
• 可以部屬到多個 cluster
• 能看到人為修改差異
• Redhat 推薦XD
• history 放在 CRD 裡面，因此 CRD 不能亂動
• 會存資料在 CRD & configMap
• 講者認為 ArgoCD > flux

Flux

• 原生做不到金絲雀部屬
• pull base
• 追蹤 git + docker images
• semver version or 時間 來判斷哪個 docker images 最新

其他

其他建議

1. 部屬在哪裡 -> 看資安政策，一般來說 prod 去連 dev 比較不會被刁難， dev 去連 prod 比較會被刁難
2. Docker images 不要用 latest 做命名
3. k8s master 絕對絕對不能開 public internet

有趣問題

• 使用 gitops，如果 running state 因為 HPA 把 replicas 變多(或少)時，上版後會不會被改回去？因為 deployment .yaml 裡面的 replicas 不會被 HPA 改到 -> 不過講者說 gitops 有能力做到，這問題可被修正

• 之前我用試著用程式回寫 git repo，結果造成無窮迴圈。 (git 觸發 jenkins 觸發 kubernetes 寫回 git 再觸發 jenkins 觸發 kubernetes ) -> 講者說的回覆是開源幫你做完惹

• got it, 所以如果用經典的pipline來講 沒有人工介入修改行為一切都是用git tigger 所以也可以講 gitops XD -> 講者說的回覆是說這是正確的

比較的時間以 2020/1/1 ~ 2020/1/5 的版本為主

前言

開始了研究生的生活後，陸陸續續使用了不同方法來管理文獻，但還是希望能穩定在一個軟體上，省去手動的步驟。
經過了一段時間的比較後，終於誕生了這篇文章。

需求簡介

1. 標註必須附著在 pdf 上 - 由於我本身喜歡在 pdf 上做註記，也希望未來若要更換軟體時能方便地把我的資料帶走，而我的筆記就應當是我的筆記，不能被鎖死在特定格式上
2. 取用文獻方便且正確（特別是在 arXiv 上的） - 由於我的領域很多時候會在 arXiv 上看到論文，因此要能夠正確的解析 arXiv 上的文獻，獲得正確的引用資訊外，也必須足夠方便把文獻放入管理軟體中，最好能一鍵解決
3. 跨平台 - 由於我習慣用 ipad 來閱讀論文，用 pc or mac 寫作，因此至少要能跨這三個平台
4. 便宜 - 因為我很窮ＱＡＱ
5. 可用偏好的 pdf 閱讀器閱讀及編輯 - 因為學校有提供 adobe pdf，而有些軟體內建的不是很好用

開始比較

參賽選手

1. Mendeley - 之前使用的軟體
2. Zotero - 本次冠軍
3. Endnote x9 - 老牌管理軟體
4. Citavi 6 - 功能強大
5. ReadCube - 管理軟體新銳

第一輪淘汰

1. Citavi 6 - 沒有跨平台
2. Endnote x9 - 對 arXiv 支援不好
3. ReadCube - 對 arXiv 支援不好 + 無法註記在 pdf 上

第二輪比較

Mendeley

優點

1. 龐大社群
2. 優秀的論文推薦功能
3. 對 arXiv 支援超好
4. 跨平台

缺點

1. 不能直接標記在 pdf 上
2. 搜尋時，相同論文會出現多篇，引用、被引用次數不精確（跟 google scholar 相比）
3. 貴(相比 Zotero)

Zotero

優點

1. 開源
2. 支持 plugin
3. 便宜（搭配 zotfile 服用）
4. 可直接標註在 pdf 上
5. 可自訂 pdf 檔名（zotfile）

缺點

1. 對 arXiv 支援不佳（相比 Mendeley）
2. 沒有論文推薦功能
3. 不跨平台（iPad）

結論

最終還是選定 Zotero + Zotfile 搭配使用 下面來說明一下我自己的設定

Zotero 設定

1. 安裝 Zotfile
2. 取消自動快照
3. 修改連結目錄成為相對目錄，這是最重要的步驟，在此目錄下的所有檔案都會變成相對目錄，因此在不同電腦上只要設定正確，就都能成功開啟檔案
4. 設定 Zotfile，告知要把檔案幫去哪裡，要跟上面的相對路徑一樣
5. 傳送到 ipad - 個人感覺不是很必要，因為這只是把檔案放到雲端硬碟上的資料夾而已，如果第五步驟已經把檔案放在雲端硬碟中，那這步驟就可以略過，不過假若將來檔案多起來，或許就能用這功能，減少在雲端硬碟中一個個慢慢找的時間
6. 命名規則，這步驟很重要，我是 年_標題_作者 {%y_}{%t_}{%a} 這樣命名，也要用 collection 作為子資料夾來分大類 /%s

RNN 其本質上就是一個具狀態的 NN，他跟其他 NN 不同的地方就在於他多了一個輸入，表示上一個狀態(Hidden State)
如下圖所示

¹ RNN 示意圖

RNN 缺點

而隨之帶來的問題即是梯度消失 or 爆炸的問題
因 RNN 在計算時，是以乘法為主，而乘法有一個特性，那就是很容易使數值太大或太小， 例如 (1.01) 的 365 次方 會是 37.7834343329， 而 (0.99) 的 365 次方 則是 0.02551796445， 因此如果網路很深，句子很長，遇到太長句子時，在 Backward Propagation (反向傳播) 很容易使數字太大或太小，造成梯度爆炸或消失的問題，使越前面的句子，其參數很難被 RNN 更新的很好。 也因此，越是前面的句子，越難被 RNN 所利用 (因為其參數更新不好)，也因此造成 RNN 僅能很好的利用靠近句子結尾的幾個字而已。

¹ RNN 反向傳播 示意圖

LSTM

LSTM 架構圖 出處

那要怎麼解決呢? LSTM 提出的做法是透過多一個狀態來保存長距離訊息

LSTM 結構

$\sigma$ 控制著資訊流過去的百分比 (0 ~ 1)
$tanh$ 則是代表資訊的數值 (-1 ~ 1)

Forget gate (最左邊的 $\sigma$)

從圖中可以很明顯的看出，
決定長距離訊息 C 有多少要用到

Input gate (中間的黃色 $\sigma\ &\ tanh$)

決定多少短距離訊息要被更新到 C 裡面

Output gate(最右邊的區域)

決定什麼要進入隱藏狀態中

GRU

² GRU 架構圖

參考

解決 elasticsearch 中，中文斷詞預設是 character-base 的斷詞方式
例如 今天天氣很好 應該要斷成 今天 天氣 很 好，而不是 elasticsearch 中的 今 天 天 氣 很 好

解法

中文斷詞目前最好的應該還是中研院的 CKIPTagger ，我們是自行斷完詞之後再用 elastic search 的 space 斷詞塞進去資料庫
中研院的斷詞器 CKIPtagger，是中研院第二版的斷詞器，主要是用類神經網路做，或者可以跟他們申請第一版的斷詞器，第一版主要是使用傳統斷詞方法
目前我們是自行撰寫一支 Python 程式來用 CKIPtagger 做斷詞，斷好的結果再放在 Document 中 POST 到 Elasticsearch，選擇這樣做是因為做起來比較靈活，可以自由修改處理過程，也不用擔心改版的時候 plugin 不能用
為了之後能繼續存取原始資料來做分析或其他用途，我們是存成兩份資料，一份原始資料，一份是斷詞斷完的資料
大概長得像下面這樣

{
    "origin": "今天天氣很好",
    "token": "今天 天氣 很 好"
}

1. 跟考慮整個人群比起來，考慮細粒度的傳播，就是跟考慮整體決定比起來，通常會比較關注身旁的人的所下的決定
2. 考慮在 graph 中的擴散
3. 也稱為 diffusion of innovations

人們模仿鄰居的原因有兩個

1. Informational effects - 發現鄰居做了 A 行為後得到好處，每個人的收益都不受他人影響，目前研究結論有
   1. 創新，缺乏了解，使採用它具有風險
   2. 能獲得很高的利益，所以人們才採用
   3. 越早採用的人，社經地位通常越高，交友程度通常越多
   4. 是否採納通常藉由觀察鄰居決定
   5. 無 direct benefit effect
2. Direct-benefit effects - 發現鄰居做了 A 行為後得到好處，且越多人做收益越大，具有以下特性
   1. 吸引人的兩大原因
      1. 專家採用
      2. 大多數人採用
   2. 可以傳播開的原因
      1. Complexity - 不太複雜
      2. Observability - 很容易觀察到好處
      3. Trialability - 試用風險小
      4. 符合社會的習慣

diffusion through a network 的模型

1. 用傳染病模型模擬
2. 用 direct benefit effect 模型模擬，這裡使用這個模型，特色有
   1. 越多人採用，收益越高
   2. 出於自身利益，當足夠多鄰居採用時才應該採用

direct benefit effect

1. 跟所有鄰居玩 coordination game
2. 點 v 的 payoff 是跟所有鄰居玩 coordination game 的和，v 也是基於和來做決策
3. p 是 v 的鄰居中採用 A 的比例， d 是鄰居數量， a b 則是不同 coordination game 選擇的 payoff 當 node v 採用 A 時 $pda\geq(1-p)db$，否則採用 B 就是 $pda\leq(1-p)db$ 可變成 $p\geq\frac{b}{a+b}$，定義 $q=\frac{b}{a+b}$

實驗

1. 假設 B 是舊的策略，A是新東西
2. 一開始有些人會開始採用 A
3. 其他人會開始慢慢轉變成 A

TODO proof 過程中 只會從 B 變成 A，A不會變回 B

問題

1. 所有人都會變成 A (complete cascade)
2. 如果不是，那不變成 A 的原因是什麼

新思想很難傳播進 tightly-knit 的社群 (內部連接緊密，外部連接稀疏)

• 現實中像是以下原因都會造成 tightly-knit 的社群
  • 不同年齡層
  • 不同生活習慣

繼續傳播的策略

1. 提高 A 的質量， 讓 q 門檻下降，像是 a 從 3->4，q就會從 2/5 -> 1/3
2. 讓 tightly-knit 的社群 內部有些節點開始轉換
   1. 衍伸出新問題，要怎麼選那些點轉換

把 tightly-knit 用數學定義表示

cascade 可以傳播多遠，取決於

1. 新技術的優點
2. 社群連接的緊密程度

定義 cluster

• a cluster of density p ， 就是一組(set) node，每個 node 至少有 p 比例的鄰居在這個 set 當中
• 網路中可同時存在多個規模的 Clusters
• 缺點是
  1. p =1 的定義不好，因為所有點都在內的話也滿足 p =1 的定義
  2. 即便兩個 p cluster 沒有連接，但兩個在一起也滿足定義

宣稱

1. remaining network 就是不包含初始點的點的集和
2. 若初始點採用 A，且轉換門檻為 threshold q，則
   1. 如 remaining network 包含 1-q 的 cluster，就不會是 complete cascade
   2. 如果不會是 complete cascade，則remaining network 一定有包含 1-q 的 cluster
   3. 1-q <=> complete cascade

證明

如 remaining network 包含 1-q 的 cluster，就不會是 complete cascade

proof 1-q 的 cluster 是 complete cascade 的阻礙 反證法 假設有個大於 1-q 的 cluster 有個 node v 在其中，且是第一個變成 A 的 node 因 v 在 大於1-q cluster　中，所以外面最多也就 小於 q 比例的 node，因此最多也就 小於 q 比例的 node 採用 A，因此 v 不可能轉變成 A

如果不會是 complete cascade，則remaining network 一定有包含 1-q 的 cluster

proof 1-q 的 cluster 是 complete cascade 的唯一阻礙 假設 S 是最後依然不轉變的 cluster 要證明 沒有轉換的 S 的 density 比 1-q 大

假設 w 在 S 中，不會轉變，因為她的鄰居最多也就 小於 q 會採用 A 而 w 有 1-比例的鄰居採用 B，且都在 S 中 因此，就定義而言， S 就是有 1-q density 的 cluster

實驗結論

從接收到消息跟實際採用會需要一段時間
門檻低的消息容易傳送， weak ties 也比較容易傳播門檻低的消息

每個 node 都有自己的 a b

跟之前類似，不過要分開考慮
blocking cluster ，就是跟之前的 1-q density 類似，只是條件是每個在裡面的 node v 的 $1-q_v$ 比例的鄰居也在 blocking cluster 內

• Behavior 互相影響，而不是獨立事件
• popularity 非常不平衡，高的很高，低的很低

檢驗分散程度是否是 normally distributed

實驗證明，發現不是，因 normal 會假設都是 independency，但這裡不是

power law

呈現多項式 $f(k)=\frac{a}{k^c}$

驗證是否為 power law

畫出取 log 的結果，看是不是直線
$\log f(k)=\log a - c \log k$
此時 -c 是斜率， loga 是跟 y 的交點

rich-get-richer model

模擬實驗

• decision 不是完全無關

  • information cascade 會影響
  • network effect 也會影響

• pages 是順序生成的，由 page1 page2 … pageN

• 每個 page 只連到一個 page (也可擴充成連到多個 page)

  • 當 page j 生成時，有 p 的機率連到前面生成的其中一個 page i
  • 當 page j 生成時，有 1-p 的機率連到前面生成的其中一個 page i 所連到的 page h
    • 等效於 page h inlink 數量 越大，被連到的機率越高
    • $V_h $= page h inlink 的數量，N 是所有 inlink 的總和
    • page h 被選到的機率為 $\frac{V_h}{N}$

• 1-p 越大，越不平衡

歷史重來，每次暢銷的東西都不相同

會

preferential attachment vs information cascade

• 相同點
  • 兩者都有模仿
• 不同點
  • copy 讓人有比較多選項，IC 只能選擇接受或拒絕
  • copy 只參考一個人決定，IC 是參考所有人決定
  • copy 是盲目 copy，IC 是理性決策

Search Tools 跟推薦系統

1. 大者越大，也叫做 scale free effect
2. 探索讓 rich get richer 效應下降

附註

• 不是所有東西都能 copy，1-p 在城市中，等於人越多生越多

Analysis of Rich-Get-Richer

將 random variable 換成期望值 t+1 時增加的量 $\frac{dx_j(t)}{dt}=\frac{p}{t}+\frac{(1-p)x_j(t)}{t}$

INformation Cascade 中影響人們決策的原因有兩個

1. Information effect - 只影響考慮過程，不影響行動後獲得的利益
2. Direct benefit effect 或是 Network effect - 除了影響考慮的過程，更影響行動後獲得的利益

• Network effect 是外部因素(externalities)，可以是正或者是負的
• Network effect 會影響別人的 welfare(payoff)，但不是直接影響(uncompensated)，而是間接影響
  • 直接影響就是你買東西別人不會給你錢
  • 間接影響就是越多人用這東西對你價值越高，例如社群網路
• 本章節的 welfare 是看使用者的數量

The economy without network effects

先討論不具有 network effect 的商品，再來討論具有 network effect 的商品

1. 假設這是個很大的市場，裡面有很多小的 consumer 跟 producter，每個對市場的影響都很小(價格不會波動)

2. 用 0~1 的實數代表無限多的 consumer(好處是能很方便回答 0~x 有 x 人)

3. 每個 consumer 只要一個商品

4. 每個 consumer 都有其 Intrinsic interest(偏好)

   1. Reservation price - 量化的 intrinsic interest
   2. consumer 的 Reservation price 由高到低排下來，及 consumer 0 的 reservation price 是最高的
   3. 用 function r 代表 reservation，r(0) 代表 consumer 0 的 reservation price
      1. 由 4-2 可知 r(0) > r(0.1) > r(0.5) > r(1)
      2. r 是嚴格遞減，即沒有一樣的 reservation price
      3. r 稱為 inverse demand function
      4. r 的反函數 $r^{-1}$ 稱為 demand function
      5. 

5. p 代表商品的價格， p 是固定值

   1. r(x) > p 就會買
   2. 如果 p > r(0)，就沒人買，因 r(0) 是最大的 reservation price
   3. 如 p < (1)，則所有人都會買，因 r(1) 是最小的 reservation price

6. p* 是固定的生產成本

   1. 每個 producer 只會賣出 p*
   2. 因為在很多 producer 競爭情況下，利益會被拉到幾乎為 0
   3. producer 也不可能貼錢賣
   4. 因此 producer 只能賣 p*

Equillibrium quantity

有一 x* 使 r(x*) = p*，就稱呼 x* 為 equilibrium quantity

Social optimal

使 每個人的 welfare 加起來最大，就是 social optimal
在不考慮 network effect 的情況下，小於 x* 就買，大於 x* 就不買，就能達到 Social optimal

每個人的 welfare 是 $如 x 買的話 w(x)=r(x)-p^* ，不然 w(x) = 0$
social welfare 是 $\int_0^1w(x)dx$，當此值最大時，就是 social welfare

economy with network effects

當 z% 的總人口使用商品時，獲得 f(z) 的效益，z 是已知的數字，且假設 f(z) = 0
因此 reservation price 變成 r(x)f(z)
為了簡化分析，進一步假設 r(1) = 0

假設商品價值為 p*，那當 r(x)f(z) > p* 時，消費者就會購買

self fulling expectations equilibrium

如果群體有共同期望，那那個期望就會自動成真，很像是 消費者對產品的信心 的總和
例如大家都認為台GG股票價值 100，那台GG的股票價值就會往 100 靠近，直到變成 100
例如大家都認為有 z 人會使用產品，那使用人數就會往 z 靠近，直到變成 z

• z = 0 是 self fulfilled，因為f(x) = 0，所以 r(x)f(x) = 0，因此就沒人會買

• 當 z 在 0~1 之間，

  • r(x*)f(z) = p*
  • 此時會買的人 x 在 0 < x < x*，當 x* 為 z 時，會是 self fulfilled
  • 所以 p* = r(z)f(z)
  • 
  • 當 p* 移動時， z’ z’’ 也會跟著移動

• 當 z 不在 0 z’ z’’ 上時

  • 0 < z < z’， z 會 往 0 移動 (下降)
  • z’ < z < z’’ ， z 會往 z’’ 移動 (上升)
  • z > z’’， z 會往 z’’ 移動 (下降)

• z’ 是 unstable ，也就是創業門檻，過了門檻之後就會遠離 z’，直奔 z’’ ， 在 z’ 附近會遠離 z'

• z’’ 是 stable ，也可說是市占率，在 z’’ 附近會往 z’’ 靠

• 降低 p* 可以使 z’ 降低，增加 z''

不知道 z 的情況下作分析 - g(z)

• 假設大家有共識 z
• 願意買的人在 0 ~ $\hat{z}$ 中間， $\hat{z} 是購買意願最低的人$，及 $[0,\hat{z}]$
• 推導
  • $r(\hat{z})f(z)=p^*$
  • $r(\hat{z})=\frac{p^*}{f(z)}$
  • $\hat{z}=r^{-1}(\frac{p^*}{f(z)})$
  • 定義 g(z)，輸入 z 時映射到真正會買的人數 $\hat{z}$，所以 g(z) 為
    • 如 $\frac{p^}{f(z)}<=r(0)，g(z)=\hat{z}=r^{-1}(\frac{p^}{f(z)})$
    • 除此之外(p* 太大的情況下)， g(z) = 0
• 

dynamic behavior - 隨時間改變的行為

把交易改成參與社群網路或不參與 - 比交易更動態

z 會隨時間改變，時間是離散的 t = 0 1 2 3 …
當 t=0 時， 會有 $z_0$ 參與

$z_t=g(z_{t-1})$，因為 g 是把預計購買人映射到實際購買人的函數，而 t=t-1階段的實際購買人，會是t=t階段的預計購買人

實際產品分析

• 如果 p* 很大，那 z’ 就會很大，因此幾乎不會有東西賣出去

• 降低 p*，讓 z; 近乎於 0，這樣更容易跨過 z’，且 z’‘也更大

• 社群屬性的產品創業要成功，就要跨過 z’(tipping point z’)

• 一開始小量投入是無法做起來的，因為很難跨過 z'

• 所以一開始就要燒錢(賠本賣等等)來跨過 z’，之後把價格漲到能賺錢的地步

• 或是用 fashion leader 來打響知名度(見 ch19)

• 很多時候，產品成不成功是看誰先跨過 tipping point z’，而不是誰品質比較好

Social optimality with network effect

之前我們說， 沒有 network effect 時 ，z* 之前的顧客買就是 social optimality
但是，有 network effect 就不一定是這樣，因為如果強迫 [z*,z*+c) 的人去購買，雖然 [z*,z*+c) 這段會讓 social welfare 下降，但是因為 z*+c 這段會讓整體 network effect 上升，因此上升的可能比下降還多，因此可能會賺更多

$r(x)f(z^)-p^ < r(x)f(z^+c)-p^$ - 這是單個顧客，要做積分才是 social welfare

Mixing individual effect with population-level effect

有些多合一機器，除了 social effect 的功能之外，還有其他能獨立使用的功能，因此 social effect 為 0 時，整體的 Reservation price 不是 0
例如傳真機可以掃描文件等等

• $f(z) = 1+ az^2$，1 就是附加價值，讓 reservation price 在 z=0 時不為 0
• $r(x) = 1-x $
• $如 $r(0)>=\frac{p^}{f(z)}，則 g(z)=r^{-1}(\frac{p^}{f(z)})$，否則 $g(z)=0$
• $g(z) = 1-\frac{p^*}{1+az^2}$

Power - 影響力

個人屬性、在網路中的位置，等等都會造成影響力
有些研究者認為影響力是相對的，而不是絕對的

Network Exchange theory

Social exchange

edge 上的 value 怎麼分配給兩個 node
而此時 social exchange 的不平均程度則反映了 power 的相對程度

探討位置造成分配不均的問題就是 network exchange theory

造成分配不均的原因

如 B > A，則有可能是因為

• Dependence - A 依賴 B
• Exclusion - B 有能力排除 A
• Satiation - A 要給 B 更多資源才能使 B 滿意
• Betweenness - A 到其他點的最短路徑會包含 B(但是也有 Betweenness 越大， power 越小的反例)

one-exchange rule

同一個 Node 只能跟鄰近的 一點 來分 Value (跟 matching 有點像)
如 A-B 且 A-C，則 A 只能跟 B 或 C 分 Value

實驗的一些術語

• High-information - 能看到所有人的交談結果
• Low-information - 只能看到自己周圍的人的交談結果

實驗結果

• Two node path
  • A-B
  • 50%-50%
• Three node path
  • A-B-C
  • (1/6)-(5/6)-0 or 0-(5/6)-(1/6)
• Four node path
  • A-B-C-D
  • B C 大約能站 7/12 ~ 2/3
• Five node path
  • A-B-C-D-E
  • C 只比 A E 好一些
• 
  • D 不會跟 B 連，D 跟 E 大概五五分
• 
  • D C 五五分，B 比 4 node 的 B 稍大一點
• 
  • unstable network or unpredictable outcome
  • 永遠都不會停

跟 buyer-seller-network 做連結

把一條 path 轉成左右左右
但是限制很多

1. node 要是偶數
2. 不是任何結構都能轉成 bipartite，而且這只是數學表達方式相同而已

建立數學模型

Nash bargaining solution

如談判失敗，A 拿到 x，B 拿到 y
如 x+y > 1，因為拿到 outside value 會使 A B 拿到最大利益，則 A B 永遠不會考慮協商
所以如果能談派的話，surplus(剩餘價值 s) = 1-x-y >= 0
且談判技巧相當的話，A B 將會平分剩餘價值 s
因此 A 的 outcome 是 $A=x+s/2=(x+1-y)/2$
B 的 outcome 是 $B=y+s/2=(y+1-x)/2$

equi-dependent outcome - 互相依賴

如果 outside option 越大，則拿得越多

inflate - 虛張聲勢，使人高估 deflate - 使人低估

The ultimatum game - 最後通牒

A 提出分法，B只能選擇接受或拒絕，如果接受就成交，不接受就談判破裂，雙方都不會獲得任何東西

在完全理性的情況下，A 會提出 A 0.99，B 0.01 這樣的分法
但實際實驗，A通常只拿 1/2 ~ 2/3，因為要考慮情緒

outcome

outcome 包含兩件事情

1. 哪兩個 node 分
2. value 怎麼分

stable

stable 定義: 當沒有任何 node X 能提出 offer 使 x y 都獲得更好的 outcome
當滿足 stable 時，不在 match 中的 edge，其兩端的 node 的 outcome 相加要大於 1，如果小於 1 ，代表該還有多的 value 可以分給兩端的 node
擅長找到分配極端不均的情況
實際實驗中， 1/6 5/6 就算是極端不平均了

三角形網路不會有 stable outcome

缺點是 stable 網路有很多可能 例如四個點的，可以 (1/2)-(1/2) 或 (1/3)-(2/3) 分，但是均分那個比較不合理(因 B 是優勢位置，應該會拿到更多才對)

balanced outcome

考慮 用 outside options 來擴充 nash bargaining solution，變成 balanced outcome B 的 outcome 是 1 - C 的 value = 1- 1/2 = 1/2

• balanced 是 stable 的子集合，即是 balance 則一定是 stable
• 如 B 同時跟 A B C D 連結，則 B 的 outside solution　是　max(1-C, 1-D, 1-E)

其他研究

• stable 跟 blanace 可以用 cooperative game 表示
  • stable 可以用 core solution 表示
  • balance 可以用 kernel solution 表示
• equiresistance - 其他可解釋 outcome 的理論

Dynamic Game 在特定情況下跟 bargaining solution 一致

• finite-horizon problem - 時間有限，由後往前推論
• infinite-horizon problem - 時間無限，由前往後推論

infinite-horizon

第一輪 A 出價，B決定要接收或拒絕
第二輪換 B 出價，A 決定接受或拒絕
為了避免無限進行，引入 breakdown probability p ，每輪結束後有 p 的機率會直接結束 game

• 因為可以計算，所以通常第一輪 A 的提議就會被接受
• 如果 p 很小，造成結束的原因是因為達成協議
• 這裡只考慮一個 edge 兩個 node
• 多個 node 還是研究的議題

分析 finite-horizon problem

只做兩輪的情況

Round 2(B 提 offer)

B 只要給 A x(A 的 outside value) 就好，因為 A 不接受，遊戲就直接結束，A 也只能拿到 x
因此 B 可以留下 1 - x

Round 1(A 提 offer)

A 計算 B 的期望值是 $z=py+(1-p)(1-x)$， $py$ 是第一輪就 breakdown 的狀況， (1-p)(1-x) 是沒有 breakdown 的情況
因此 A 只要給 B z 就好，A 留下 1-z， 1-z > x

B 的 payoff 是 $z=py+(1-p)(1-x)$，

• 當 p 趨近 1，對 A 有利，
• 當 p 趨近 0， A 拿走的量很接近 A 的 outside option
• 當 p = 0.5 則 接近 Nash bargaining outcome

infinite-horizon problem

• stationary strategies - 假設策略不隨時間改變
• stationary strategies 達成的平衡稱為 stationary equilibria

A 提出 $(a_1,b_1)$，B 只會在 $b_1>=z_B 時接受$
B 提出 $(a_2,b_2)$，A 只會在 $a_2>=z_A 時接受$

by 之前 Round 1 的分析，且 $(1-z_A) = b_2$ ，可知 $b_1 = z_B = py+(1-p)(1-z_A) = py+(1-p)b_2$ 相對的
$a_2 = z_A = px+(1-p)(1-z_B) = py+(1-p)a_1$

因此可得 $a_1=\dfrac{(1-p)x+1-y}{2-p}$
$b_1=\dfrac{(1-p)y+1-x}{2-p}$
B gey payoff 是
$b_1=1-a_1=\dfrac{y+(1-p)(1-x)}{2-p}$

當 p 接近 1 時， $(a_1,b_1) \approx (1-y,y)$
當 p 接近 0 時，game 會持續很久， payoff 是 $(\dfrac{x+1-y}{2} ,\dfrac{y+1-x}{2} )$

簡介

當自身有資訊，且也獲得別人跟你說的資訊時，是要依照自己的資訊做決定還是跟別人一起做

• herding 、 information cascade、social contagion - 不依照自己獲得的資訊做決策，而是跟別人一起做
  • 不是單純模仿(imitating)
  • 也不是盲從(not mindless)
  • 也不是因為社交壓力(social pressure)
  • 而是經過計算後的決定 !!
  • 人越多，越容易傳播
• Information effects - 別人只影響你下決策而已，不影響下完決策後能獲得的利益
• Direct benefit effects - 別人除了影響你下決策之外，更會影響下完決策後能獲得的利益
  • 例如電話普及之前，越多人使用，你就能跟越多人聯絡，因此越多人用，電話給你的利益越大

實驗

實驗環境

• 實驗前告訴每個人，箱子裡的球是 兩藍色一紅色 或 兩紅色一藍色 的機率各半
• 每個人輪流上台抽球，並告訴大家他覺得箱子裡的球是哪種顏色比較多
• 每個人都只能看到他自己抽的球

推論

1. 第 1 號人，抽到啥顏色就猜主要是啥顏色，例如抽到藍色就猜藍色
2. 第 2 號人，
   1. 如抽到跟 1 號相同，就猜跟 1 號相同的顏色
   2. 如果不同，就猜自己抽到的顏色
3. 第 3 號人，
   1. 如果前兩者一致，說明箱子裡那個顏色的機率比較大，無論自己抽到啥顏色，都會猜跟前兩者一樣的顏色 - information cascade
   2. 如前二不一致，猜自己看到的顏色
4. 第 4 號人，
   1. 他知道第 3 號有可能受到 information cascade，因此只有前兩號資訊是真的，所以 4 的決策資訊跟 3 相同
5. 4 之後都跟 3 一樣

結論

• information cascade 容易形成 - 只要前兩個顏色相同，後面就會全部都猜一樣的顏色。全錯機率有 1/9
• cascade 也是脆弱的，如果中間有兩個人亮出抽到的不一樣顏色球給所有人看，那 cascade 就會被打破，因為有用資訊就變成 兩藍兩紅
• 但是如果是 direct benefit effect 的 cascade 就很難打破了

數學表示

主要是條件機率
$P[主要藍色|抽到甚麼顏色]$ 的機率 大於 1/2 時，就應該猜藍色$

第一人

$P[主要藍色|抽到藍色] = \frac{P[主要藍色]P[抽到藍色|主要藍色時]}{P[抽到藍色]} = \frac{\frac{1}{2}\frac{2}{3}}{\frac{1}{2}}=\frac{2}{3}$

其餘類似

第三人

$P[主要藍色|抽到藍色 藍色 紅色] = \frac{P[主要藍色]*P[抽到藍色 藍色 紅色|主要藍色時]}{P[抽到藍色 藍色 紅色]} = \frac{ \frac{1}{2} * ( \frac{2}{3}^2 * \frac{1}{3} ) }{\frac{6}{54}}=\frac{2}{3}$

我目前是用 Rancher 來安裝，目前 Rancher 會出現 master cpu 使用率高的 bug(大約 10%)，不過不影響正常使用

• rancher
• kubespray
  • 官方安裝說明
• kubeadm

kubespray

1. 安裝 kubespray
2. 安裝 kubeadm-kubelet-and-kubectl
3. 這一步的 10.10.* 換成cluster 的 ip declare -a IPS=(10.10.1.3 10.10.1.4 10.10.1.5)
4. 在 hosts.yaml 設定 ansible_port

   node1:
      ansible_host: 140.114.77.150
      ansible_port: 2222
      ip: 140.114.77.150
      access_ip: 140.114.77.150
   

5. 最後一行加上大 K，輸入 sudo 密碼
   ansible-playbook -i inventory/mycluster/hosts.yaml --become --become-user=root cluster.yml -K
6. 移除 cluster ansible-playbook -i inventory/mycluster/hosts.yaml --become --become-user=root reset.yml -K

參考

基本名詞

• Node

Services

• 很清楚的解釋

名詞

• ClusterIP - K8S 內部才能連到
• NodePort - 在每個 pod 運行的 node 上開 port，使外部可以透過 $(node ip):$(port number) 的方式連到 pod 上
• Load Balancer - 感覺在 public cloud(GCP AWS …) 上用處比較大?
• ExternalName - 將 內部 Domain name 映射到外部的方法? ()

其他有趣的東西

• rio - 快速部屬 app By Rancher
• rook - 自動部屬分散式系統
  • Rancher + Rook 安裝

使用問題

• helm 遇到權限問題
• docker build 網路不通
  • build 加參數 --network=host，變成 docker build . --network=host

參考資料

• 官網 英文
• kubernetes-handbook 中文
• 小信豬的原始部落
• [儲存空間類]
  • [Kubernetes] Persistent Volume (Claim) Overview

按照上次安裝

istio

安裝 istioctl

https://istio.io/docs/setup/getting-started/

安裝 istio

istioctl install https://istio.io/docs/setup/install/istioctl/

knative

metalLB

安裝

https://metallb.universe.tf/installation/

設定 Layer 2 (網路架構的L2)

apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    address-pools:
    - name: default
      protocol: layer2
      addresses:
      - 192.168.1.240-192.168.1.250 # 多 ip
      - 192.168.1.240/32  # 單 ip
          

當設定成功後輸入 kubectl get service -n istio-system istio-ingressgateway，便能看到EXTERNAL-IP從 PENDING 變成有 ip

Homophily - 相似度

相似度越高，越容易相處在一起

要怎麼知道這個因素是否影響圖的連結
用 Homophily test

Homophily test

跟純 random 比較，看看這因素是否會影響

假設男性占 p 成，女性佔 q 成 (q = 1-p) 一個 edge 兩端都是男性的機率是 $p^2$，都是女性是 $q^2$ ，一男一女是 $2pq$
如果跨性別的 edge 顯著比 2pq 還少，那就說明是 homophily
如下圖

homophily 底下的機制 - selection and social influence

• selection - 人會選擇有像似特質的做朋友
• characteristics - 特質
  • immutable - 不可變，人種
  • mutable - 可變，興趣
• Socialization - 同化現象

朋友相似，是因認識前就相似，還是認識後被同化

要觀察網路多個時間
longitudinal study - 長時間的研究

假設同個特徵的是朋友，那可能是

1. 因這個特徵變朋友
2. 變朋友後被同化
3. 因其他原因變成朋友，但剛好有同樣特徵

Affiliation

把 surrounding context (node 的 meta data) 變成網路內部看待
把 meta data 變成 node，稱為 focal point(或是 foci) ，這稱為 affiliation network

social-affiliation network

擴展之前說的 triadic closure，讓他也能在 foci 跟 people 上使用

edge 有正負關係
左邊兩個穩定，右邊兩個不穩定

Structural Banalnce property

如果是 fully connected 的話，過一段時間後會變成穩定狀態 X 跟 Y 內部 edge 都 + 值，但 X-Y 的 edge 都是 - 值
或是只有一個 set，且都是 + 值

Balance Theorem

cluster network = Structural Banalnce property 證明 上述結果 (Structural Banalnce property)
當選一個 A 點出來，用 Structurtally balance 帶進去找 ? 的值，就發現符合理論

General 版本的 (不一定要是 fully connected)

• loop(A 點出發，繞一圈再回到 A 點) 是偶數的 - 值，就稱為 structurally balanced or balanced
• clusterable - network 可被分為兩群(two disjoint set) 右邊不是 clusterable
  
• Harary’s balance theorem => : A signed network is balanced = clusterable

證明方法

1. 證明每個 sub graph 是 balanced
2. A B 兩點間經過的 edge 會是偶數個負值
3. 就可從上面兩個推出來

Triadic closure A-B，A-C 認識，則過一段時間後，B-C 很有可能也會互相認識

也有可能跨多點連結，如 D-G

• Clustering coefficient
  • $三角形/只有兩個邊的三角形$
  • 

Bridges - 連結兩個 component 的邊

Bridge

A-B 中間的即是 bridge

local bridge

但是 bridge 在社群網路上非常稀少，因此放鬆定義
兩個連線端點上無其他共同的點時，該連線即可稱為 local bridge
A-B 即是 local bridge

Span

當把 local bridge 刪除後 兩點的距離
span 一定 >= 3 (因為 local bridge 沒有共同點)

Bridge 類似於 Local bridge + 超大 span

Strong ties and weak ties

• Strong ties => 朋友
• Weak ties => 認識的人

Strong triadic closure property

如果 A-B，A-C 都是 strong ties，則 B-C 一定有 ties(strong or weak)
左邊滿足 Strong triadic closure property，右邊不滿足 Strong triadic closure property

Local bridges and weak ties

如一個 點 A 所在的 graph 滿足 Strong Triadic Closure，有兩個以上的 strong tie，如果有 local bridge 則 local bridge 一定是 weak ties
用反證法來證明　　
假設 A-B 是 local bridge，根據 Strong triadic closure property，B-C 一定有邊，但這違反了 local bridge 的定義

clusters

大網路內的 clusters 其內部大多是 strong，並透過 weak ties 跟其他 cluster 連接 下面章節會證明

Tie strength and network structure in large-scale data

因為 local bridge 實在太少，又放寬定義 定義 nearborhood overlap
$\dfrac{A \cap B}{A \cup B}$ !!注意 $A \ cup B$ 不包含 A B 本身

這樣還有個好處就是可以數值化ties 的強弱
Example A-F 的 overlap 只有 1/6 (C / B, C, D, E, G, J)

真實情況，確實 ties 強度(下方)跟 overlap(左邊) 是呈正比的

當把 weak ties 移除時， giant component 會縮小得很快

FB 上的探討

左上是所有朋友
右上是比較熟的人
左下是事件
右下是親密夥伴

passive engagement - 介於 strong 跟 weak 中間的人

closure & structural holes & social capital

討論在社群網路中的位置提供的優勢

A 的 cluster coefficient 很高

Embeddedness

用處跟 cluster coefficient 類似 edge 兩端的 node 的共同朋友 A-B 的 Embeddedness 是 2

Tightly-knit groups

共同朋友越多 -> 互信程度越高

zero embeddedness

B-C 的 embeddedness 是 0

Structural holes

B 的位置稱為 Structural holes，像是E-B-C C-B-D 的空洞

B 的優勢

B 有機會拿到 early access - 拿到最新的外部訊息
B 有更好的 Creativity (因能獲得新想法)
B 也有機會過濾訊息 - social “gatekeeping”

social capital

• physical capital - 技術優勢
• human - 天賦
• ecoomic - $$
• cultural - 文化

• 多人拍賣
• 人對不同貨品有不同程度的偏好
• 價格也是有偏好的
• allocation 可以是最佳的

圖例

• 左邊是 賣家
• 右邊是 買家
• 實體線代表 賣家跟買家 之間有沒有可能有交易
• 粗線 代表達成交易
  

Perfect matching

要完成以下兩個條件

1. 每個 node 都要用粗線連線到對面
2. 一個 node 只能有一條粗線(即不能多點對一點)

Constricted sets

1. 找出 seller set - $S$
2. 找出跟 $S$ 相連(near)的 node - $N(S)$
3. 如果 $|N(S)|$ 比 $|S|$ 小，則代表是 Constricted sets，即 $|N(S)|< |S|$
   

• 如果 $|N(S)|$ 比 $|S|$ 小，則不能能形成 perfect match，因為不可能將所有點連起來
• Matching Theorem - 如果 graph 中存在 Constricted sets，則代表這個 graph 沒有 perfect match

Valueation & optimal assignments - 加上偏好程度

• 右邊數字分別代表買家對 seller 1 2 3 的偏好(value)
• Quality - 所有買家的偏好相加
• optimal assignment - 買家偏好要最高
  

如果是 binary 的話，就只是 value 變成 0 跟 1 而已

Price - 加上售價

• 如果左邊出價格 p ，如果 value - price < 0，那 payoff 就是 0 (因為可以不買)
• 買家想要最大化他的 payoff，即 value - price

preferred seller - 這個 buyer 偏好的 seller

即使買家 payoff 最大化的賣家

preferred-seller graph & market clearing

所有 buyer 跟其 preferred-seller 都連起來的 graph
當 preferred-seller graph 能夠形成 perfect graph 就稱為 market clearing

兩個問題

1. clear market 時， quality 好不好
2. 給定任意的買方偏好價格，是否一定存在 prefect matching (buyer 跟 seller 數量要相同)

1 clear market 時， quality 好不好

定義 total payoff M 是下面這樣

$\sum_{i,j}v_{ij}C_{ij}$ - M 的 total value
$\sum_{i,j}p_{i}C_{ij}$ - 所有價格相加 (因為價格不會因為不同連線方式改變，所以是個常數)

當 clear market 時，每個 buyer 都一定是連到 perfect-seller (因 preferred-seller graph 是成立 market clear 的先決條件)，因此 M 的 total value 一定是最大值，而 payoff 相加是個常數，因此會是最大值

2 作者稱之為 bipartitle graph auction model

演算法

1. 每個 seller 初始價格為 0
2. 建立 perferred-seller graph
3. 如果已經 market clear 了，那就做完了
4. 不然就找一個 seller set S 的 constricted set
5. 把 N(S) 的 buyer 的售價全部 + 1
6. 將所有 seller 的售價減去所有 seller 售價的最小值， $p_i - min(p_1, p_2 …, p_n)$
7. 重複做上述步驟，直到找到 perfect matching

如下圖

那這會停止嗎? 會，因為這如同位能一樣，只會遞減，不會增加。 且最小值又是 0 ，因此迭代次數夠多的話就一定會停 (因為只會遞減)

定義位能 (potential)

• 買家位能 = 買家的 payoff
• 賣家位能 = 賣家的出價
• 交易位能 = 買家 + 賣家的位能

證明

1. 初始位能都 >= 0
   1. 因為初始所有 seller 初始 potential 都是 0
   2. 所有 buyer 的 payoff 都是正的 (因 seller 售價都是 0)
2. 會影響 potential 只有 step 5 跟 step 6
   1. step 6 - 因為 buyer 跟 seller 的 potential 會抵消，因此不影響 potential
   2. 因為 $|S| > |N(S)|$，故 整體 potential 會下降

將 single-item auction 轉匯成 multi-item auction

建立很多 fake additional seller，其他買家對 fake seller 的 value 都是 0
如下圖

當 market clear　時，很像是 auction 的 Sealed-bid Second-price price

• True Value - 每個 bidder(買家) 都有自己的估價，買家不會買超過自己估價的東西

四種拍賣方式

1. Ascending-bid auction - 買家喊價，越出價越高，最高價者得標
2. Descending-bid auction - 賣家喊價，價格越喊越低，直到有人接受
3. First-price sealed-bid auctions - 同時出價，價格最高者得標，並付出喊價的價格
4. Second-price sealed-bid auctions - 同時出價，價格最高者得標，並付出喊價次高者喊的價格

拍賣適合的時機

!! 買賣雙方都不知道真實的價格 !!

如果買方知道賣方的估價，就直接用賣方估價買就好了
如果賣方知道買方的估價，就直接用買方估價賣就好了

拍賣方式的關係

Descending-bid auction 跟 First-price sealed-bid auctions 在數學上是一樣的
因為假設 bidder 估價為 b，當賣方逐步降價時，如果降到有 bidder 能接受的價格 b 時，該 bidder 就會買下

Ascending-bid auction 跟 Second-price sealed-bid auctions 在數學上是一樣的 因為假設 bidder 估價為 b，當買方逐步出價時，估價最高的 bidder 將會贏的拍賣，且因為是逐步出價的，所以最高出價的買方只要贏過次高出價的買方就好了，不需要出到自己的估價，因此跟 Second-price sealed-bid auctions 相同，贏得拍賣，並付出次高買方喊的價格即可

!!! 改變規則會改變行為，因此 first-price 跟 second-prie 的收益會相等 !!!

數學符號

• bidder - 買家
• $b_i$ - 第 $i$ 個買家的出價
• $v_i$ - 第 $i$ 個買家的估價
• $b_i$ 的 payoff
  • 如果贏了，則是 $v_i - b_i$
  • 如果輸了，則是 $0$
• truthful bidding - 出的價格就是估價

Second-price auctions

!!! Sealed-bid Second-price price auction 中，每個 bidder 的 dominant strategy 就是出自己的估價

Tie breaking

如果前兩大的出價相等的話，要怎麼決定哪個能得標呢?

1. 用說好的順序決定輸贏
2. 假設同樣價差之間差距 $\varepsilon$，而 $\varepsilon\approx0$

證明 truthful bidding 在 second-price sealed-bid auctions 中視最好的策略

觀察

1. 要證明 $b_i=v_i$ 時，沒有其他 $b_i’$ 能夠比 $b_i$ 還要好
2. $b_i$ 有兩種方式可以做偏移，上升或下降
3. $b_i$ 只影響輸贏，不影響 payoff

分段證明

第一章圖是教科書的證明，第二張圖是我自己的想法

First-price auctions

• 如沒有贏， payoff 就是 0
• 如果贏了， payoff 就是 $v_i-b_i$

因為 payoff 會隨 $b_i$(出價) 改變，因此 truthfulness 就不再是 dominant strategy
也因此我們要把 bid 壓越地越好，但是要盡可能的贏得拍賣

All-pay auction - 即使沒贏，也要付出代價

• 如出價 $b_i$ 沒有贏， payoff 是 $-b_i$
• 如出價 $b_i$ 贏了， payoff 就是 $v_i-b_i$

all pay auction 的 optimal bid 跟 first-price auction 類似

Common Values & winner’s curse

• Common Values - 物品有實際價值，但沒人知道實際價值是多少，像是油田等等
• winner’s curse - 如果買家的估價比實際價值高，那當買家實際開採或轉賣時，很可能賠錢，又因為是最高者得，所以買家高估實際價值的可能性比較高
• 也因此就算是 second-price auction，truthful bidding 也不會是 dominant strategy， 因為物品具有實際價值
• 因此 購買時要考慮 winner’s curse

模型

• $v_i$ - 估價
• $v$ - 實際價值，但沒人知道實際價值是多少
• $x_i$ - 誤差 $v_i = v + x_i$

名詞

1. Player
2. Strategies
3. Payoff
4. Payoff Matrix

目前先考慮 one shot game player 同時下決策，且 player 之間的決策過程是獨立的

幾個假設

1. player 只關注如何最大化自身利益 - rationality
2. player 不關心他人或集體的利益
3. player 能完整知道整個 game 的訊息(也有不知道所有訊息的 game)

TODO 例子

Best Responses & Dominant Strategies

當其他人選 T 時， S 是最好的選擇

Strictly Dominant Strategy

無論其他怎麼選，都是最優的選項 最優的選項 - 大於其他所有選項

TODO 例子 - 囚犯困境 - 都有Strictly Dominant Strategy

TODO 例子 - 只有一方有 Strictly Dominant Strategy

Nash Equilibrium

解決都不存在 Strictly Dominant Strategy 的狀況

在這組決策下，沒有任何一方能夠通過改變自己的決策獲取更多利益，使其他人沒有動機改變決策

TODO 三人例子

找 Nash 的方法

1. 暴力搜尋所有組合
2. 找每一個人的所有 best responses，並交集所有人的 best responses - 比較好的方法

coordination game - 多個 Nash Equilibrium

TODO 變種 + 特例 https://en.wikipedia.org/wiki/Coordination_game

1. Coordination game
2. Unbalanced coordination game
3. Battle of the sexes
4. Mis-coordination games - 如果沒協調好的話，追求最大利益的反而懲罰越大

Mixed strategies

引入機率，讓對手更難預測自身的行為 -> 讓對手選哪個選項 payoff 都相同(indifference) 透過引入機率，解決沒有 Nash Equilibrium 的問題 之前的決策沒有機率，所以撐過 pure strategies

TODO 例子 - pennies game

zero sum 零和遊戲 - payoff 加總唯一常數

TODO 例子

!!! 在有限的 player 跟 有限的策略時，一定有 mixed strategiy equilibrium

TODO 有兩個 mixed Nash Equilibrium 的例子

找Nash 的方法

1. 先用 pure strategies 方式去找
2. 找不到再用 mixed

Pareto Optimality

考慮整體的利益，不一定能達到整體最好，但能達到局部最好 當存在一種組合，使每個人的 payoff 都比現在的組合好的時候，現在的組合即不是 pareto optimality

TODO 例子

Social Optimal

把每個人的 payoff 加總，最大的那個組合

TODO 證明 如果是 social optimal 則一定是 pareto optimal

Dominated Strategies

注意 Dominated strategies != Dominant Strategies 即有選擇全面的比現有選擇還要好，主要用來降低 Game 的分析複雜度

TODO 例子

策略組合 = outcome = choice of strategy = joint strategy = strategy profile = strategy combination = action profile

證明

1. 有沒有可能把 Nash Equilibrium 刪了?
2. 有沒有可能剩下的 Nash Equilibrium 原本不是 Nash Equilibrium

Weekly Dominate Strategies

即 >=

Dynamic Game

不同時執行 之前的 game 又叫做 normal form = strategic game = matrix game 現在 Game 叫做 Dynamic game = extensive form

解法

1. 動態規劃解，由下往上 - 這比較好 - Backward induction
2. 轉成 matrix 解 - 有些解不存在，會有多的 Nash Equilibrium

Subgame perfect equilibrium

在所有 subgame 中都是最好的 Subgame perfect equilibrium 是 Nash 但 Nash 不一定是 Subgame perfect equilibrium

QQAQQQQQQQQQQ

1. The small world property - 六度空間法則，任兩點之間平均過六格就能抵達對面 ?? 但是，在規模多大內才有效?
2. Scale-free, power-law degree distributions - power law，所有點的 degree 分布圖，會呈現平方下降
3. Relatively large clustering coefficient - 三個點都相連會比只有兩條邊的數量要多
4. Assortative mixing and homophily - 相似度計算
5. Existence of community structures - 小群體的結構

centralities - 中心，影響力，重要性

1. Degree centrality , 用 degree 描述 => 不理想，不是所有 Neighbor 都一樣重要
2. pagerank
3. Closeness, 其他點到該點倒數距離的平方
4. Betweenness, 最多最短路徑經過的節點

power law

small world - Six degrees of separation

[] TODO – 看影片 Homophily - 相似度

Community detection algorithms

練習 QEMU

安裝

目前有兩款比較熱門的跨平台 terminal

1. hyper
2. terminus

就顏質跟設定方便度而言，我選擇了後者，也就是 terminus

建立VM並開機

1. 使用 chocolatey 安裝 choco install terminus
2. 安裝 powershell core， choco install powershell-core
3. 安裝 nerd fonts 中任意喜歡的字體 我個人比較推 FiraCode SourceCodePro CascadiaCode 這三款
4. 打開 terminus，在 terminus 的設定 -> 外觀 -> 字體上選擇字體

開機

qemu-img create -f qcow2 1.qcow2 40G

qemu-system-x86_64 --enable-kvm -hda 1.qcow2 -m 1024 -net nic,model=virtio -net user,hostfwd=tcp::2223-:22 -cdrom ../ubuntu-16.04.6-desktop-amd64.iso -vga std -cpu host -smp 4,cores=4,threads=1,sockets=4,maxcpus=16 -boot strict=on

alpine

qemu-img create -f qcow2 1.qcow2 40G

qemu-system-x86_64 --enable-kvm -hda 1.qcow2 -m 1024 -net nic,model=virtio -net user,hostfwd=tcp::2223-:22 -cdrom alpine-virt-3.11.5-x86_64.iso -vga std -cpu host -smp 4,cores=4,threads=1,sockets=4,maxcpus=16 -boot strict=on

https://wiki.alpinelinux.org/wiki/Alpine_Install:_from_a_disc_to_a_virtualbox_machine_single_only

必要安裝

sudo apt install openssh-server

sudo sed -i 's/APT::Periodic::Update-Package-Lists "1"/APT::Periodic::Update-Package-Lists "0"/' /etc/apt/apt.conf.d/20auto-upgrades

安裝 tensorflow –no-cache-dir tensorflow 是為了修正 memory error 的 bug

pip3 install --no-cache-dir tensorflow

編譯 kernel

uname -r

mkdir kernel
cd kernel

wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.6.2.tar.xz

tar Jxvf linux-5.6.2.tar.xz

sudo mv linux-5.6.2/ /usr/src/

sudo apt install fakeroot build-essential libncurses5-dev kernel-package openssl bison flex libssl-dev

cd /usr/src/linux-5.6.2

# sudo cp /boot/config-`uname -r` ./.config

# make oldconfig

touch REPORTING-BUGS

make menuconfig

sudo fakeroot make-kpkg -j4 --initrd kernel_image kernel_headers
sudo fakeroot make-kpkg -j32 --initrd kernel_image kernel_headers

cd ..

wget 192.168.122.1:8000/linux-image-5.6.2_5.6.2-10.00.Custom_amd64.deb
wget 192.168.122.1:8000/linux-headers-5.6.2_5.6.2-10.00.Custom_amd64.deb

sudo dpkg -i linux-image-5.6.2_5.6.2-10.00.Custom_amd64.deb

sudo dpkg -i linux-headers-5.6.2_5.6.2-10.00.Custom_amd64.deb

sudo reboot now

uname -r

systemd-analyze 

compiler

sudo apt install software-properties-common
sudo add-apt-repository ppa:ubuntu-toolchain-r/test
sudo apt update
sudo apt install gcc-9 g++-9
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 90 --slave /usr/bin/g++ g++ /usr/bin/g++-9 --slave /usr/bin/gcov gcov /usr/bin/gcov-9

分析 systemd-analyze blame

Todo

• [v] Compiler 優化
• [[gdb簡易教學]]

最近在因為 terminal 跨平台讓我有點煩躁，所以才寫下這篇備忘

安裝

目前有兩款比較熱門的跨平台 terminal

1. hyper
2. terminus

就顏質跟設定方便度而言，我選擇了後者，也就是 terminus

Windows 安裝

1. 使用 chocolatey 安裝 choco install terminus
2. 安裝 powershell core， choco install powershell-core
3. 安裝 nerd fonts 中任意喜歡的字體 我個人比較推 FiraCode SourceCodePro CascadiaCode 這三款
4. 打開 terminus，在 terminus 的設定 -> 外觀 -> 字體上選擇字體

最近在 Ubuntu 上做開發，便來安裝注音輸入法

安裝

此方法應該適用於 Ubuntu 12.10 以上版本（在 19.04 中測試過）

1. 安裝 rime sudo apt-get install ibus-rime
2. 安裝 注音 sudo apt-get install librime-data-terra-pinyin librime-data-bopomofo
3. terminal 輸入 ibus-setup 會跳出 IBus Preferences 視窗
4. 在 IBus Preferences -> Input Method -> Add -> Chinese bopomofo
5. 進入 settings -> Region & Language -> Input Sources -> + -> Chinese (Bopomofo)
6. 重新登入即可

參考資料

• RimeWithIBus
• plum
• rime-bopomofo

最近在嘗試使用 docker 作為開發環境的選項，這篇只是單純紀錄可能遇到的問題跟常用用法

常駐 docker 並能連接上 terminal

用 {} 包起來代表變數

docker run -id {image}

docker exec -it {id} bash

做 fuzz test

docker run -id --ulimit core=-1 --privileged {image}

參考

打包現有環境到新 image

docker commit {old_running_docker} {newimagename}

參考

最近在弄 spark 時遇到一堆破事，特此紀錄

collect 很久，甚至沒反應

conf = SparkConf().setMaster("local[*]") \
    .setAppName("App_Name") \
    .set('spark.executor.memory', '4G') \
    .set('spark.driver.memory', '45G') \
    .set('spark.driver.maxResultSize', '10G')
self.sc = SparkContext(conf=conf)

saveAsFile 很久，甚至沒反應

conf = SparkConf().setMaster("local[*]") \
    .setAppName("App_Name") \
    .set('spark.executor.memory', '4G') \
    .set('spark.driver.memory', '45G') \
    .set('spark.driver.maxResultSize', '10G')
self.sc = SparkContext(conf=conf)

for loop 越跑越慢

使用 repartition() 或 checkpoint() 可以解決這問題
https://changhsinlee.com/pyspark-dataframe-basics/

• Ubuntu 16.04 桌面版
• Anaconda 3.6

方法

1. 用管理員權限使用 emacs¹ 打開 /etc/rc.local

   sudo emacs /etc/rc.local
   

2. 加入下面兩行(請隨自己的設定改變) 說明

   • $user_name 是指自己的使用者名稱
   • su $user_name 是要以該使用者的身分執行
   • /home/$user_name/anaconda3/envs/DL3/bin/jupyter 則是你執行 jupyter 的位置，這裡是以 ubuntu 下的 anaconda 為例
   • lab 跟 notebook 分別是執行 jupyter lab 跟 jupyter notebook，看個人需要使用

   su $user_name -c "/home/$user_name/anaconda3/envs/DL3/bin/jupyter lab --no-browser;" &
   su $user_name -c "/home/$user_name/anaconda3/envs/DL3/bin/jupyter notebook --port 8889 --no-browser;" &
   

   所以我是

   su sappy -c "/home/sappy/anaconda3/envs/DL3/bin/jupyter lab --no-browser;" &
   su sappy -c "/home/sappy/anaconda3/envs/DL3/bin/jupyter notebook --port 8889 --no-browser;" &
   

3. 可以使用下面的指令來協助除錯，詳細可以看這篇文章

   systemctl status rc-local.service
   

結論

rc.local 雖然已經過時了，但是……能用就好 😁 😁

參考

• 鳥哥的 Linux 私房菜
• server - Run Jupyter-notebook on boot on Ubuntu - Stack Overflow

• 官方教學 - 六十分鐘學會 Pytorch

• 六十分鐘學會 Pytorch - 中文翻譯

• 六十分鐘學會 Pytorch - 我的畫注

• 深度学习框架PyTorch：入门与实践 - 程式碼

這裡補充一些 Variable 的小東西

a = Variable(torch.Tensor([3]), requires_grad = True)
b = Variable(torch.Tensor([4]), requires_grad = True)


print(a,b)

d = a.pow(2) + b # a^2 + b

可以透過 算出 梯度

d.backward()
print(a.grad)
print(b.grad)

輸出是

Variable containing:
 6
[torch.FloatTensor of size 1]

Variable containing:
 1
[torch.FloatTensor of size 1]

透過 grad_fn 可以看出計算圖(Computation Graph)長成甚麼樣子

print(d.grad_fn)
print(d.grad_fn.next_functions)

輸出

<AddBackward1 object at 0x7f73196e5eb8>
((<PowBackward0 object at 0x7f73196e5ba8>, 0), (<AccumulateGrad object at 0x7f73196e5b38>, 0))

由於發現預設的 render 功能有點少，因此換了一下 renderer

安裝

主要參考

• Hexo 研究筆記 1
• hexo-next 使用hexo-renderer-markdown-it

但是發現 markdonw-it 的套件已經很久沒更新了 因此使用下面這行直接從 github 上安裝即可 npm install git+https://github.com/hexojs/hexo-renderer-markdown-it.git —save

Footnote 1 link¹.

Footnote 2 link².

Inline footnote^[Text of inline footnote] definition.

Duplicated footnote reference².

markdown-it-abbr

This is HTML abbreviation example. It converts “HTML”, but keep intact partial entries like “xxxHTMLyyy” and so on. *[HTML]: Hyper Text Markup Language

hexo-filter-github-emojis

Hello✨Test 👽

最近在弄 caffe 的安裝，過程中需要安裝到 opencv，但opencv又需要安裝到 protobuf

環境

• ubuntu 17.04

過程

基本上按照官網做就好了，唯一需要注意的是，如果有安裝 anconda ，可能會吃到anaconda內建的libtool，因此我的作法是更新anaconda的libtool，讓它版本相符合

因為要安裝 cuda ,但是我的 gcc/g++ 版本已經到了6.3了,因此得想辦法降回 4.x

解法

參考 注意: 優先度（install 最後的數字）是按照 大到小的

更詳細的參數

可以用 –query 來找有沒有替代板

因為教授要求要做物體辨識, 加上實驗室的Server目前暫時不能使用,所以只好先在自己的電腦上面跑

環境

• Ubuntu 17.04
• Tensorflow 1.3
• Cuda 9.0
• Cudnn 7.0

過程

1. 安裝 nvidia 的驅動程式

2. 安裝 cuda - 從官方網站上的 deb 包安裝即可

3. cudnn 要手動安裝,所以先下載 tar 檔案,

   進到放著tar的資料夾

   用 下面指令解壓縮

   tar -xzvf cudnn-9.0-linux-x64-v7.tgz
   

   複製到目錄

   $ sudo cp cuda/include/cudnn.h /usr/local/cuda/include
   $ sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
   $ sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
   

   ​

4. 到 /usr/local/cuda/lib64 底下

   使用下面指令, 創造一個軟連結 （因為 Tensorflow 使用 cudnn 6.0, 所以要用這方法把 讓它可以使用 libcudnn.so.6 這個檔案）

   ln -s libcudnn.so.7.* libcudnn.so.6
   

5. 用 pip 安裝 tensorflow with Gpu

6. 在 ~/.bashrc 最底下加上

   export CUDA_HOME=/usr/local/cuda/
   export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64"
   

選用

如要使用 pycharm 要記得幫它加上環境變數

最近在安裝 opencv 時，因為VM硬碟大小不夠，所以只好擴充硬碟大小，但是 root partition 好像沒辦法在開機時調整大小(不確定)，所以這次用 Gparted

過程

首先，先用 live cd 做開機 參考這篇

然後打開 Gparted 會看到被紅色圈起來的部分，然後對她右鍵，按下 swapoff 然後把他移動到右邊(先擴充到右邊，移過去，再縮小)，並且在對他右鍵做swapon 就完成了(灑花花

因為教授要求安裝 opencv，但是因為 opencv 安裝複雜，所以在此紀錄一下

環境要求

• opencv3.3
• ubuntu 17.04

安裝紀錄

首先，我是參考 How to install OpenCV 3.1 on Ubuntu 14.04 64bits 以及官方文件

一開始我是先 按照 How to install OpenCV 3.1 on Ubuntu 14.04 64bits 安裝

在下面這行遇到一些困難

sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-dev

首先，libjasper-dev 已經被從 ubuntu 17 上移除了，所以我是透過 這個方法 來安裝 ubuntu 16 版的 libjasper-dev 其次 libpng12-dev 已經被 libpng12-0 所取代了，所以把上面的這部分換掉即可

這裡說明一下比較會用到的編譯的參數( 官方文件 上都找的到)

cmake -D CMAKE_BUILD_TYPE=RELEASE \
    -D CMAKE_INSTALL_PREFIX=/usr/local \
    -D INSTALL_C_EXAMPLES=OFF \
    -D INSTALL_PYTHON_EXAMPLES=ON \
    -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules \
    -D BUILD_EXAMPLES=ON ..

• CMAKE_BUILD_TYPE 可以設為 Release or Debug
• 最後的 .. 是指 opencv 原始碼的路徑
• OPENCV_EXTRA_MODULES_PATH 要放 opencv_contrib/modules 的路徑

之後參考這篇 安裝 Anaconda 的 opencv 以及一些加速器

最後做完一些測試就OK了 ^^

因為想讓Onenote的Pdf可以放在同一頁而不被切割成好幾頁，所以上網稍微找了一下方法

解法

到 檔案 -> 選項 -> 進階 (英文的話會是File -> Options -> Advanced) 找到 在多頁上插入長的列印成品 (Insert long printouts on multiple pages) 並把他取消打勾，這樣就可以了 ^^

參考

How to print multiple page PDFs onto a single Onenote Page?

因為最近開始在找 windows 10 系統上好用的另列命令列工具, 在友人的推薦下使用了這個

安裝

由於他的安裝只是把它解壓縮而已, 在此就不多說了

設定

ls 中文資料夾亂碼

1. 打開Settings (快速鍵 win+ctrl+p)
2. 在Settings > Startup > Environment裡加入：set LANG=zh_TW.UTF8
3. 重開

更改初始資料夾

1. 切到 setting -> Startup -> Tasks -> {cmd}
2. 最後面加入(D:\Data 可以換成你想要的路徑)

-new_console:d:"D:\Data"

參考資料

子風的知識庫

在更新時遇到

dpkg: error processing archive /var/cache/apt/archives/python-lldb-6.0_1%3a6.0~svn310966-1~exp1_amd64.deb (--unpack): trying to overwrite '/usr/lib/python2.7/dist-packages/lldb', which is also in package python-lldb-4.0 1:4.0-1ubuntu1

看到網路上的解法

sudo dpkg --force-all -i /var/cache/apt/archives/linux-libc-dev_3.13.0-88.135_armhf.deb

於是稍微修改一下，變成

sudo dpkg --force-all -i /var/cache/apt/archives/python-lldb-6.0_1%3a6.0~svn310966-1~exp1_amd64.deb

就大功告成了

因為 gitlab 上相對於 github 的可玩性跟福利都比較大所以打算逐漸遷移過去, 然而由於 github 上使用的人數依然比較多, 便想說能不能在 github 上面建立一個 gitlab 的複製版

設定

1. 先在 github 上新開一個對應的 repo
2. 產生 token
3. 先進入這裡
4. 打勾, 並且按照格式輸入
5. 按下存檔並且更新(可能要等一段時間), 如果你發現github上的repo有新檔案了(更新完後等 3~5分鐘),那就代表你成功了(灑花花)

參考資料

espadav8 blog

因為之前在 Ubuntu 上安裝 RStudio 時遇到一點問題，便把過程記錄下來，並讓其他人參考

安裝過程

(2017 / 06 /27 安裝)

環境需求

• 硬體需求

  • 至少 1GB RAM

• 軟體需求

  • Ubuntu 17.04
  • 要有root or sudo 的權限

第一步 - 安裝 R

因為 Ubuntu 預設的 R 通常版本都很舊，所以要用到外部別人包好的 R 套件 這裡使用 CRAN 維護的版本

注意!! 請選擇可信賴的外部團體維護的版本

輸入下列指令

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E298A3A825C0D65DFD57CBB651716619E084DAB9

你將會看到如下的輸出

再來把套件來源加入到套件管理系統的列表中 請把最後的zesty換成你ubuntu的版本 請參考版本名稱對照表

sudo add-apt-repository 'deb [arch=amd64,i386] https://cran.rstudio.com/bin/linux/ubuntu zesty/'

更新你的列表資訊

sudo apt-get update

如果成功你可能會看到如下輸出(get 後的數字不一定會一樣)

最後就可以安裝R 了

sudo apt-get install r-base

如果一切順利，沒有跑出錯誤的訊息那應該就代表你成功了(灑花花

第二步 - 安裝 Rstudio

他有分成兩個版本

• Server 版
• Desktop 版 我只有安裝 Desktop版，所以Server板我不清楚怎麼安裝 所以要安裝Server版的請看

Server 版安裝方式

Desktop 版安裝方式

1. 先去 Rstudio 的官網把 Rstudio 的安裝套件抓下來 a. 快速連結

2. 找到你要的版本並下載 a.

   b. 看你是 32 bit or 64 bit c. Command Line (小黑窗) 底下可以用底下的命令

   wget 下載網址 
   

3. 因為 RStudio 的新版本加入了兩個相依套件，所以要先安裝 a. 到 https://packages.debian.org/jessie/amd64/libgstreamer-plugins-base0.10-0/download ， 下載 libgstreamer-plugins-base0.10-0_0.10.36-2_amd64.deb

   b. 到 https://packages.debian.org/jessie/amd64/libgstreamer0.10-0/download 下載 libgstreamer0.10-0_0.10.36-1.5_amd64.deb

   c.使用 sudo dpkg -i 剛剛下載的兩個套件名稱 安裝套件，大概長這樣 並補充一下，用tab鍵可以自動補全名稱，但是要在同一個目錄底下

   sudo dpkg -i  libgstreamer-plugins-base0.10-0_0.10.36-2_amd64.deb libgstreamer0.10-0_0.10.36-1.5
   

   d. 安裝另外兩個相依套件

   sudo apt install libjpeg62 libedit2
   

   e. 最後 安裝 Rstudio

   sudo dpkg -i rstudio-1.0.143-amd64.deb
   

   

到這裡就大功告成啦XDD

ycmd原本是在vim上的You-Complete-Me, 而後作者把補全部分單獨分離出來做為一個後端,使其他編輯器也能享受這種神級的補全系統. 我目前主要是用它來補全c++,但是他還能夠補全像是go,JS之類的語言,可說是十分全能

安裝

安裝環境

我的環境是spacemacs + ubuntu 17.04 , 由於spacemacs已經有人幫忙把常用的包都設定好了,所以設定起來可說是相當簡單

安裝

1. 首先,先安裝clang,因為這是ycmd的必要套件,這部分我們參考官網的安裝說明
2. 在dotfile(快捷鍵Space f e d)中, 按照spacemacs ycmd layer install安裝
3. 測試收工

常見問題

• 如果出現這樣的錯誤訊息

layout: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by layout)

那麼請先更新你的函式庫 如果你的 python 環境是 anaconda, 那麼這樣更新

• 路徑不正確 - 他的路徑是吃絕對路徑,所以要像是這樣子

  ;;; ycmd 的路徑
  (set-variable 'ycmd-server-command '("python" "/home/sappy5678/emacs_setting/require_plugin/ycmd/ycmd/"))
  ;;; 把要用的資料夾加入白名單
  (setq ycmd-extra-conf-whitelist '("~/hw/*"))
  ;;; 使用ycmd裡面預設的配置
  (set-variable 'ycmd-global-config "/.emacs.d/layers/+tools/ycmd/global_conf.py")
  ;;; 預設開始起自動補全
  (setq ycmd-force-semantic-completion t)
  (add-hook 'doc-view-mode-hook 'auto-revert-mode 'c++-mode-hook 'ycmd-mode)

• 要記得安裝auto-complete 讓自動補全的前端顯示出來

gdb 是一種除錯的工具,經常在 Linux 環境中被使用

參考資料

• Linux 除錯利器 - GDB 簡介
• Debugging with GDB （入門篇）

小技巧

印出ascii或客製化輸出

• 輸出格式
• 使用方法
  • EX: p /c char_string

中斷點條件

by StackOverFlow

break x:20 if strcmp(y, "hello") == 0

20 是指行數, x 是可以是任何檔案名稱, 而 y 可以是任何變數

1. 請先到 Anaconda 安裝Anaconda (建議 Python 3.x 版本)
2. 再來到 Pycharm 安裝 IDE (Community 版本是免費的)
3. 安裝完成後, 打開 Pycharm 新增一個 .py 檔, 並輸入 print(“Hello World”), 之後執行看看, 看看有沒有印出 Hello World

基本語法

使用方式

• 我會盡量為每個部份都寫一些教學以及練習題, 讓大家可以更快速的上手
• 練習題 如果想要練習的人可以進來這邊, 裡面有一些基礎題讓大家練習

基本輸入輸出

輸出

Python 是個很口語化的程式語言 如同你剛才所看到的

print("Hello World")

便代表著印出 Hello World 這幾個單字, 當然, 中文也是OK的, 只要你將他包裹在 "" 兩個引號之中 便可以將他印出來, 現在換你來試試看

輸入

至於要如何輸入呢? Python 也提供了很口語化的方法 " input() " 像是這樣

資料型態

但首先, 我們要認識一下變數 變數, 便是我們之前說過的, 給某些東西一個名子 也可以想成是數學中的 x = 1 這種代數 而資料型態則是告訴 Python 你那個東西是什麼, 例如 數字或是字串 Python 常見以下幾種資料型態

• int (整數): 例如 0 1 2 …. , 也可以是負數, 像是 -598 -753 -1 之類的
• float (浮點數): 也是我們所謂的小數點, 例如 3.1415926 123.999 -3.784 等等,要注意的是, 小數點會有誤差, 所以使用時要特別小心
• string (字串): 例如我們一開始的 “Hello World” 或者是 “Input” 等等, 這裡要注意的是,字串都要用 "" 兩個引號包起來, 而且你所有的 input() 的值, 都會被當成字串看待
• bool (布林): 他只有兩個值, True 和 False, 常用來作為條件判斷用
• list (列表): 用來同時存放很多資料的型態, 類似於數學上的矩陣,之後會有更詳細的介紹
• tuple (元組): 跟 list 類似, 最大的不同在於這個是不能改變的, 之後會有更詳細的介紹
• dict (字典): 存放很多資料的型態,常用於做出類似層級的概念, 之後會有更詳細的介紹

int (整數), float (浮點數)

廢話不多說, 直接進入正題

list (列表), tuple (元組)

dict (字典)

流程控制

我們已經學會了那麼多的型態, 然而, 當情況變得更複雜時, 我們可能會遇到一些需要判斷的問題. 例如, 當我們要判斷考試的成績是否及格時, 要怎麼做呢? 所以我們接下來就要學到如何判斷. 希望大家還記得我們之前說道的 bool 嗎? 他只有 True 跟 False 兩種型態, 接下來我們就會使用他來做判斷 一些基本的條件判斷: * >= 大於等於 * > 大於 * == 等於 * <= 小於等於 * < 小於 * != 不等於

if elif else

• if - 如果, 你可以把他想像成如果條件為真的話, 要做些甚麼
• elif - 當第一個條件不符合時, 就會來檢查這裡的條件, elif 是 else if 的縮寫
• else - 其他, 就是當上面所有條件都不符合時, 就會來執行這裡面的動作 接下來是例行的範例時間XDD

for while

如果我們現在要印出 1 ~ 100 要怎麼辦呢? 如果只能夠 一個個慢慢印出來那不是要印 100 次嗎? 所以便出現了迴圈, 能夠讓我們執行一些步驟很多次 所以這樣就不需要打 100 次了 直接上範例 XDD

function

library

安裝

使用

Quick Start

Create a new post

$ hexo new "My New Post"

More info: Writing

Run server

$ hexo server

More info: Server

Generate static files

$ hexo generate

More info: Generating

Deploy to remote sites

$ hexo deploy

More info: Deployment

• Node - 點, 個人
• Edge - 邊, 人與人的關係
• Undirected graph and directed graph
  • undirected graph - 邊沒有特定方向
  • directed graph - 邊具有方向性
• Adjacency matrix - 用矩陣來表達圖的關係, 1 代表有連接, 0 代表沒有連接
  • 詳情可參考
• Paths - 路徑, 一連串由 Edge 連接起來的 Node 組成的東西
  • Simple Path - 無重複點的路徑
  • Cycles - 只有起點跟終點是同一點的路徑
    • 特點是 - redundancy - 代表這個圈就算任一邊斷掉，也是相連的
    • 在社群網路中 很常見
• Connected Graph - 此 Graph 上任兩點間都有 path ，使之能夠抵達另一點
  • 大部分的社群網路都是這樣，越大越是如此
  • 在社群網路中 很常見
• Connected components 下面是有三個 node 的範例
  
• Giant Components
  • 有顯著影響力(很大的)的 Components
  • 幾乎所有的 large network 都有 giant component
  • 幾乎所有大網路都只有一個 giant component
    • 因為兩邊所有點都沒連接的機率非常低
    • 假設雙方各有 N 個點，點跟點連接的機率是 99%
    • 則完全沒有點連接的機率是 $0.01*{N^2}$
• Distance
  • 兩點之間最短距離
  • 用BFS演算法(breadth-first search)找最快
    • First find all friends at a distance of 1
    • Find all their friends (not including distance-1 friends), and declare these to be distance 2
    • Repeating this procedure to find friends of farther away
      
• Small-world property
  • Giant Components 中任兩點距離比想像中短
  • Six degrees of separation
    • 每個人走六個點就能夠到達另一點
    •