跳到主要內容

館長的網站技術瓶頸,小弟弟來解答 - notorious-2019.com

館長的網站技術瓶頸,小弟弟來解答 - notorious-2019.com

昨天看到館長的網站倒了,也看到館長說一個月花費大概一百萬左右的月費在支持這個架設的電商網站,也對外發布出來訊息,希望求救,

直接講結論

建議解法,

1. 首先要做的事情是讓整個網站可以橫向擴展 (Load Balancer + n 台伺服器),對,相信我,IIS 也是可以做 Scale out, 這是對於 Application layer 服務的解法。

2. 資料的部分 SQL 吞吐量,建議改成 GCP Cloud SQL, 或者就直接轉到 Azure SQL Server 環境上會相對容易解決 SQL 的問題。

上述 2 個步驟都處理完,其實 100 萬的費用,應該 20000 concurrent user 是沒有問題的,但前提是要設定『對』!

額外需要花較長期時間要處理的,建議就是在 Queue 的處理,購物車的狀態都可以進入到 Queue 再來處理 SQL insert 的問題,減少不斷的 insert / update 的狀態,後文會提到 ...

底下詳細的會再說明如何後後續還有哪些處理的細節。


這兩天剛好有個小空擋,就來分析一下狀況,

可以從外部讀取得到的服務大致上如下,

  • ASP.Net: 4.0
  • IIS 10 + Windows (廢話)
  • SQL Server (推測)
  • OP Service: PleskWin
  • Host: Google Cloud
  • DNS: Cloudflare

前端服務內容架構

Server-side render, jQuery base, 推測有可能採用現成購物車來進行,看起來不太像是用 wooCommerce 比較像是 Cart Functionality 這類的項目直接搭建而成(當然這純屬猜測)

  1. 功能拆解

因為網站是透過 Server site render 所有頁面都需要重新透過伺服器進行載入,這樣的狀況,如果在頻繁忙碌的 eCommerce 網站架構下會是一個致命傷,

簡單來說,數量的查詢,特惠價,優惠碼等等資訊的處理,使用者每做一步都需要重新跳轉頁面,或者整頁面重新讀取,只是為了部分的資料更新,這些都可以抽取出來成為 API ,透過 AJAX 的方式進行讀取。

  1. 讀寫分離

在不了解目前資料庫複雜狀態下,首先要讓所有人都可以讀取到資料,頁面可以跑出來,建議至少將讀取資料庫,和寫入資料庫的部分進行拆分。

這個設定可能自己 host 的時候會比較多麻煩事情,但如果透過 Azure SQL Server 的設置會方便許多,這也是為什麼會推薦可以直接用 Azure SQL Server.

  1. SPA 架構建置

針對第一部分的優勢,會建議如果工程能量許可,建議將程式改成 SPA 的方式來進行,這樣可以大量單純資料邏輯,還有讓後端做單純的計算,而不用負擔大量的重新頁面輸出資訊,多餘的 HTML Tag 等。

  1. 頁面快取

很多熱門商品其實會是大部分使用者進來搶購的項目,會建議在活動頁面,廣告頁面盡量設置 page cache 的方式來進行(目前看起來都是設置成 no cache)或者類似用 varnish 的方式,來進行快取的處理。

但是目前沒有辦法碰到伺服器就不深入去探討實作複雜度的問題。

  1. 透過 Queue 進行搶購

因為有太多邏輯和商務資訊都在 SQL 端,為了減少大量的 SQL 處理,建議在購買商品的部分,可以採用 Queue 的方式來進行,而不是大量的依賴 SQL CRUD 。

一來可以避免 SQL lock 的問題,二來可以讓 Queue 進行控管 Racing 的問題,實作細節上不多做說明,總之 Event Queue / Queue 都是初期解決 SQL 瓶頸的好朋友。

碎碎念

很多人聽到一個月付費用 100 萬很多,或者很不值得什麼之類的,甚至是覺得被『共潘辣』,實際上狀況到底如何大家不用在那邊瞎猜,因為 Cloud 費用要直接上 100 萬,其實並不難,特別是在 Windows 這種有 license 的服務上,要直上到每個月 100 萬,是真的有可能的。

推測,接案方可能是很少處理類似有流量進來的問題,導致於使用比較傳統的架構,比較傳統的方式來解決使用者流量問題,無法訪問的問題。

畢竟提升機器等級,提升環境是解決方法的一個方式,但在實務上,更多都是要回去看一下 index 設定了沒, SQL 下的方式有沒有辦法進行優化,減少不必要的 join 等等。

是說啦, .net 建議可以換一下成為 .net core ,這樣彈性和架構就可以更多元, k8s 可能會是一個更容易解決問題的方案,但這前提就真的是要從 .net -> .net core

最後,不要動不動就叫人家重寫程式,打掉重練,重練的代價,永遠都隱含著你所不知道的成本,網站能夠穩定,網站能夠順利進行,裡面藏了多少次的 debug ,你永遠不會知道,這不是讓你耍花槍的時候,而是真正上戰場,如何用最少的子彈達到正確目標的實際考驗。

以上!

丟出議題包磚引玉,如果或任何討論,

就傳個粉絲頁跟小弟互動一下吧!(啾咪)

https://www.facebook.com/caesarfromtaiwan


留言

這個網誌中的熱門文章

[CSS] z-index 在不同瀏覽器繼承問題

今天會討論到這個課題,是因為要實做一個Popup dialog,所以我們希望的結果如下圖。 可是在IE7 卻發生了這樣的情況。 Popup不論怎麼設定z-index都無法浮在最上層,我們看一下html架構發生什麼事情。

[教學] 快快樂樂刪除CodeIgniter index.php

預設的CI網址預設都設定為index.php同一層級,因此所有的程式都必須指定index.php導向才能開始,例如 http://localhost/ci/index.php/welcome/test http://localhost/ci/welcome/test 本文將說明如何將惱人的index.php消除,還你一個漂亮的URL。 設定開始: 接下來說明如何使用rewrite方式將惱人的index.php去除。 rewrite不清楚的人,煩請先自行google 首先要先確定Apache的 mod_rewrite 有 開啟 ,如果沒有開啟請設定好之後重新啟動apache。 接著,在根目錄底下建立一個新檔案,檔名為 .htaccess ,裡面程式碼如下: <IfModule mod_rewrite.c> RewriteEngine On RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^(.*)$ index.php/$1 [L] </IfModule> 接著到 application/config/config.php ,開啟檔案修改 $config['index_page'] = ""; 注意: /index.php/$1 要根據你目錄,例如 http://localhost/index.php ,網站根目錄為 /ci/index.php 則要寫成 /ci/index.php/$1 接著至CI目錄下,尋找 config\config.php , 修改一下裡面的檔案,修改如下: $config['index_page'] = ""; 存檔後,如此一來大功告成。 參考資料 官方網站說明

[教學] Mojito 安裝與入門,install mojito for beginner.

mojito ,最近終於從 YDN 對外公開此專案,這個套件主要用於解決前端多重裝置及瀏覽器端的問題,後端服務採取 node.js ,因此使用上必定要先準備以下幾個元素 準備素材 c++ complier git Node.js > 0.4.x NPM > 1.0.x 安裝方式 git clone git://github.com/yahoo/mojito.git cd mojito/source sudo npm install -g . npm install . 以上四個簡單的步驟,就可以把 mojito module 完整安裝到服務器上,接著就可以開始進入 mojito 的世界 使用方式 mojito 提供了完整的 command line 給開發者使用,接著先建立一個基本 hello world 專案,跟著以下步驟完成第一個專案。首先建立一個 mojito application, mojito create app hello cd hello 切換到目錄之後,再接著建立自己的 mojit,這邊的 mojit 就像是一個應用(application)可能會包含許多個獨立網站體,擁有獨立架構的 MVC ,包含內部設定等,詳細資料可以參考官方的 說明 ,建立 mojit mojito create mojit HelloMojit 輸入指令後,會看到顯示結果如下, creating mojit called 'HelloMojit' (using "default" archetype) ✔ mojit: HelloMojit created! ✔ mojito done. 接著修改 application.json 這個 mojit 設定檔案,讓剛才新建立的 hellp application 指定底下有一個 mojit -> HelloMojit ,讓應用可以去執行 mojit controller ,修改如下, [ { "settings": [ "master" ], "appPort": 8666, "specs": { ...