跳到主要內容

[閒聊] socket.io scaling out solution

socket.io scaling out solution

socket.io 一直以來都是在 node.js 許多 module 當中,受人注目的一個項目,自己也不例外,從 socket.io 6 進展到目前 socket.io 9 都一直持續關注他的發展。
長期以來這種 Comet 連線模式的環境,最讓人質疑的部份有幾個,
  1. server extend (scaling issue)
  2. message lost *. user connection
首先拿 server exetend 來說,最簡單的解法,同時也是 socket.io 支援的模式,
  1. 設定 socket.io redis config
  2. 使用 load balancer like 的機制
  3. 將 socket.io 服務視為一個 Application
因此就可以如下圖,所表示



http://blog.davidmisshula.com/images/4.png

使用者透過連線到 load balancer 之後,透過 load balaner 將資源分散到每個不同的 Application 機器,每個機器最終將會去向同一個 DB (SQL/ NoSql) 機器取得 session, user, message … 資訊回到應用程式當中。
讓每個使用者的資訊不致於斷線,在這邊 socket.io 預設的使用方式就是採用 redis。
這種連線方式其實有幾篇文章已經說明的相當清楚,
這邊的方式都是採用如同上述表示的規劃架構,可以達到 socket.io scaling 的機制。
當然聰明的各位也想到了,有需求就會有解決方案,因此也有廠商提供了類似的解決方案,
這兩間廠商都是提供 real time web service 給予 Web App provider ,當然這是一件好事情,對於開發者來說正是這個 provider。

可是其中有個問題就是,對於開發者來說這些服務都需要先熟悉他的 API 以及架構,假設…如果今天這個服務商倒了,或者使用者變少之後,那是不是就又成了另外一個科技孤兒。
當然我相信這是一種 trade-off ,對於開發者及廠商都是,話說回來如果我們今天針對的目標族群是 Node.js 開發者,那情況是不是又不太一樣。

針對 Socket.io 開發者


如果是 Node.js 開發者,族群上是針對 socket.io 開發者的話,似乎又有另外一個新的選擇。
沒錯,就在本月份 Widnows Azure(沒錯,就是你知道的那個微軟),目前也提供了類似的服務稱為 Windows Azure service bus,
http://ntotten.com/2013/04/05/scaling-out-socket-io-with-windows-azure-service-bus/
文章中提到了,如何去 scale out socket.io 服務,當做自己的後端服務。

how you can scale out Socket.IO to multiple servers in order to handle many simultaneous connections by using Windows Azure Service Bus as a backing store.

總之這是目前 real time service 當中,少數一個以 socket.io API 為基礎的一個服務(當然之後會不會偷改,我不曉得),不過對於長期關注 Socket.io 的開發者來說,是一個優勢。

從此之後我不需要再持續去注意 socket.io scale out 的問題,只需要去關注 deploy 的問題。

實際情況?

實際上,卻好像不是這麼簡單,如果真的要做到一個 real time service 實際上,對於服務背後幫你做的事情,身為一個開發者還是要可以知道後面的 log 狀況。

message lost

目前線上到底有多少 session connect 有哪些已經 fail, 哪些還是 alive ,這些都是需要被關注,而且需要可以查看 log 的部份。

如果真的要確保訊息都有被完善的發送到每個使用者手上,似乎 Queue 的機制也不得不製作,讓每個訊息不管是針對特定使用者,或者是廣播訊息都能夠使用 queue (例如 rabbitMQ, ZeroMQ),能夠確保訊息的傳遞,以及 log 的檢視。

似乎這樣的服務才足以讓開發者有十分強度的信任,不需要自己建立自己的服務,將整個 Web App 移植到某個 Service Provider。

對於開發者

其實親善開發者真的不難,要做到的就是幾個
  1. 統一的介面(API)
  2. 足夠的訊息回顧(Log)
  3. 穩定的網路
  4. 開源的程式
這四點,每個其實都打到許多廠商的要害,總之說很簡單,做很難,但是不論怎樣,做就對了,我們知道距離目標還有千萬公里遠,但是一步一腳印,就慢慢把步伐向前邁進吧!

註記:
此文同步轉載於,http://blogger.micloud.tw/2013/04/socketio-scaling-out-solution.html

留言

  1. Hi, just wanted to say, I loved this blog post. It was practical.
    Keep on posting!

    Feel free to surf to my web-site - ralph lauren polo sale

    回覆刪除

張貼留言

這個網誌中的熱門文章

[分享] 腳踏車環島注意事項

很多人都期望自己能夠做點什麼,做些什麼,而退伍之後的第二個星期,就展開了環島之旅。 對很多人來說這不算什麼,甚至有人展開了走路、跑步、溜滑板、單輪車等方式環島一周,充分展現對台灣的愛與關懷。 這篇主要讓不知道怎麼準備環島的人,作一個完善的解說,首先隨身的東西要有: 證件現金類 : 身份證 健保卡 學生證 現金 提款卡 悠遊卡

館長的網站技術瓶頸,小弟弟來解答 - notorious-2019.com

館長的網站技術瓶頸,小弟弟來解答 - notorious-2019.com 昨天看到館長的網站倒了,也看到館長說一個月花費大概一百萬左右的月費在支持這個架設的電商網站,也對外發布出來訊息,希望求救, 直接講結論 建議解法, 1. 首先要做的事情是讓整個網站可以橫向擴展 (Load Balancer + n 台伺服器),對,相信我,IIS 也是可以做 Scale out, 這是對於 Application layer 服務的解法。 2. 資料的部分 SQL 吞吐量,建議改成 GCP Cloud SQL, 或者就直接轉到 Azure SQL Server 環境上會相對容易解決 SQL 的問題。 上述 2 個步驟都處理完,其實 100 萬的費用,應該 20000 concurrent user 是沒有問題的,但前提是要設定『對』! 額外需要花較長期時間要處理的,建議就是在 Queue 的處理,購物車的狀態都可以進入到 Queue 再來處理 SQL insert 的問題,減少不斷的 insert / update 的狀態,後文會提到 ... 底下詳細的會再說明如何後後續還有哪些處理的細節。 這兩天剛好有個小空擋,就來分析一下狀況, 可以從外部讀取得到的服務大致上如下, ASP.Net : 4.0 IIS 10 + Windows (廢話) SQL Server (推測) OP Service: PleskWin Host: Google Cloud DNS: Cloudflare 前端服務內容架構 Server-side render, jQuery base, 推測有可能採用現成購物車來進行,看起來不太像是用 wooCommerce 比較像是 Cart Functionality 這類的項目直接搭建而成(當然這純屬猜測) 功能拆解 因為網站是透過 Server site render 所有頁面都需要重新透過伺服器進行載入,這樣的狀況,如果在頻繁忙碌的 eCommerce 網站架構下會是一個致命傷, 簡單來說,數量的查詢,特惠價,優惠碼等等資訊的處理,使用者每做一步都需要重新跳轉頁面,或者整頁面重新讀取,只是為了部分的資料更新,這些都可以抽取出來成為 API ,透過 AJAX 的方式進行讀取。 讀寫分離 在不了解目前資料庫複雜狀態下,首先要讓所有人都

[教學] 快快樂樂刪除CodeIgniter index.php

預設的CI網址預設都設定為index.php同一層級,因此所有的程式都必須指定index.php導向才能開始,例如 http://localhost/ci/index.php/welcome/test http://localhost/ci/welcome/test 本文將說明如何將惱人的index.php消除,還你一個漂亮的URL。 設定開始: 接下來說明如何使用rewrite方式將惱人的index.php去除。 rewrite不清楚的人,煩請先自行google 首先要先確定Apache的 mod_rewrite 有 開啟 ,如果沒有開啟請設定好之後重新啟動apache。 接著,在根目錄底下建立一個新檔案,檔名為 .htaccess ,裡面程式碼如下: <IfModule mod_rewrite.c> RewriteEngine On RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^(.*)$ index.php/$1 [L] </IfModule> 接著到 application/config/config.php ,開啟檔案修改 $config['index_page'] = ""; 注意: /index.php/$1 要根據你目錄,例如 http://localhost/index.php ,網站根目錄為 /ci/index.php 則要寫成 /ci/index.php/$1 接著至CI目錄下,尋找 config\config.php , 修改一下裡面的檔案,修改如下: $config['index_page'] = ""; 存檔後,如此一來大功告成。 參考資料 官方網站說明