使用前端 JS 接收 Ollama 回應的 Ndjson 格式

基本上就是使用 fetch API 來處理串流資料，利用 async/await 就可以使用無窮迴圈來處理。

<input type="text" id="chat" value="台灣位於哪裡？" />
<button onclick="startAsk()">開始</button>
<div id="result_div"></div>

const chat = document.querySelector("#chat");
const result_div = document.querySelector("#result_div");
const model = "mistral-nemo";  // ollama 使用的 LLM 模型名稱

const startAsk = async () => {
  const response = await fetch(`http://localhost:11434/api/generate`, {
    method: "POST",
    headers: {
      "Content-Type": "application/json",
    },
    body: JSON.stringify({ model, prompt: chat.value }),
  });
  if (!response.ok) {
    console.log("回應發生錯誤!!!");
    return;
  }
  // ['content-type', 'application/x-ndjson']
  console.log(...response.headers);

  const reader = response.body.getReader();  // 讀取器
  const decoder = new TextDecoder("utf8");   // 解碼器

  while (true) {
    const { value, done } = await reader.read();
    const json = decoder.decode(value); // 基本上每一行都是 json
    console.log(json);
    try {
      const obj = JSON.parse(json);
      result_div.innerText += obj.response;
    } catch (ex) {
      console.log(ex);
      console.log("不是 JSON:", `---${json}---`);
    }
    if (done) {
      result_div.innerText += "\n\n";
      break;
    }
  }
};

在 M1 macOS上執行 tensorflow 的環境

目前 M3 的晶片都出好一陣子了，想說 M1 跑 tensorflow 應該沒問題。 結果不管是 python 3.11 或 3.12 都無法正常執行使用到 tensorflow 的專案。

爬文都只能爬到 python 3.8 的環境，3.8 也被評為執行 tensorflow 最為穩定的版本。 後來只好安裝 3.8 再使用 3.8 建立虛擬環境。

參考 Apple 官方文件 https://developer.apple.com/metal/tensorflow-plugin/

# 安裝 python 3.8
brew install python@3.8

mkdir proj-dir
cd proj-dir

# 建立虛擬環境
python3.8 -m venv venv
# 啟動虛擬環境
source ./venv/bin/activate

# 安裝 tensorflow 2.12 的版本
pip install tensorflow-macos
# 安裝 tensorflow-metal
pip install tensorflow-metal

測試官方的範例，有出現 Warning 和 Notice 不過可以正常執行。

Apache HTTPS 服務間歇停止的問題

2024-02-01 開始客戶的網站就發生服務中斷的情況（其實這狀況當時應該發生好幾天了）。

主機架在 DigitalOcean 的 SGP1 上，由於 SGP1 網路設備曾有停擺快 2 天的黑記錄；所以一開始就懷疑是不是網路設備不穩。

以往的經驗，通常停止十分鐘左右就會恢復正常，但這次卻不是想像中單純。

服務大概停擺十分鐘後，就恢復正常，但是每隔一到兩小時就發生一次服務停擺，實著讓人頭疼。

一開始是毫無頭緒到底是什麼問題，也發 ticket 給 DO，DO 回應希望進一步提供資料。

懷疑過：網路設備問題、程式沒寫好、SSL 憑證問題、MySQL 資料庫問題等，大伙搞了兩天也沒離清問題點，只發現 HTTPS 受影響，但 HTTP 似乎沒受影響。可是 HTTPS 中斷服務時， HTTP 也變慢了。

大家的想法都一樣，HTTPS 和 HTTP 都是 Apache 伺服器的服務；沒道理 HTTPS 停擺，而 HTTP 正常。所以焦點又被轉移到 SSL 憑證上。

第三天開始，我終於有比較多的時間，從調 MySQL 開始搞了半天，沒什麼進展。 後來在一堆 Apache error log 中，某個停擺時點找到一條：

[Sat Feb 03 23:54:11.819500 2024] [mpm_prefork:error] [pid 8964] AH00161: server reached MaxRequestWorkers setting, consider raising the MaxRequestWorkers setting

很少在搞設定的我，只好查一下資料 mpm_prefork 是什麼模組，然後網路上也沒查到上面的錯誤會造成什麼問題。 後來在 stackoverflow 找到這篇 AH00161: server reached MaxRequestWorkers setting, consider raising the MaxRequestWorkers setting。

硬著頭皮依照建議設定 mpm_prefork.conf，心想應該就是這個問題。 一覺起來，果然有改善，再依 log 做些調整。

# prefork MPM
# StartServers: number of server processes to start
# MinSpareServers: minimum number of server processes which are kept spare
# MaxSpareServers: maximum number of server processes which are kept spare
# MaxRequestWorkers: maximum number of server processes allowed to start
# MaxConnectionsPerChild: maximum number of requests a server process serves

<IfModule mpm_prefork_module>
    StartServers              10
    MinSpareServers           10
    MaxSpareServers           20
    ServerLimit             2000
    MaxRequestWorkers       1536
    MaxConnectionsPerChild 10000
</IfModule>

幾天的心情低落就因為一個設定。

另一個有趣的事情，就是在 stackoverflow 找資料時，看到一篇症狀和我們遇到的差不多狀況。 但傻眼的是，他自己解答自己的問題，答案是「公司找到會設定 Apache 的人才，他弄一下設定就好了」，沒有提到任何的模組或設定...