本篇文章6261字,讀完約16分鐘
新科技信 2019雙11,是支付寶參戰(zhàn)的第11年。
與11年前相比,雙11的多個(gè)事物發(fā)生了變化。 例如——2684億美元是11年前的5000倍左右。例如,流量-訂單的峰值為54.4萬(wàn)件/秒,是曾經(jīng)無法想象的數(shù)字。 比如層出不窮的新技術(shù),就是這些驚人數(shù)字背后的“秘密武器”,為抗擊雙11的士兵們配備了最完善的武裝。
也有始終不變的東西。 仿佛踏上了戰(zhàn)前的緊張、不安、薄冰一樣,對(duì)細(xì)節(jié)反復(fù)檢查的“強(qiáng)迫癥”,勝利后的喜悅、釋然、充實(shí),然后進(jìn)入下一步。
支付寶( Alipay )的技術(shù)事業(yè)是“半年進(jìn)行建設(shè),半年進(jìn)行巨大的促進(jìn)”。 雖然是戲言,但足以從側(cè)面說明實(shí)踐戰(zhàn)場(chǎng)的重要性。 每當(dāng)雙11圓滿落幕,技術(shù)人員也到了收獲的季節(jié)。 經(jīng)歷了哪些雙11大考試的新技術(shù),就像經(jīng)歷了“成人式”一樣,開始一個(gè)接一個(gè)地走上舞臺(tái),獨(dú)自一人。
sofamesh :金融類云的第一步
我們知道,金融機(jī)構(gòu)責(zé)任重大,所以在面對(duì)新技術(shù)時(shí),一般都很保守。 支付寶( Alipay )也不例外。 特別是在雙11這樣的場(chǎng)景中,流量大、峰值高,平時(shí)再小的問題,在這個(gè)時(shí)候也有可能被放大為大問題。
于是,在今年的大促迫在眉睫之際,sofamesh團(tuán)隊(duì)還在煩惱中。 面對(duì)周圍各種各樣的聲音,他們感到了很大的壓力。 被問到最多的問題是“這個(gè)不可靠嗎? ”。
“行”字在雙11面前,可能有千鈞之重。 能承擔(dān)超過零點(diǎn)的流量峰值嗎? 能保障穩(wěn)定嗎? 你能保證錯(cuò)誤嗎?
mesh是一項(xiàng)新技術(shù),社區(qū)開源項(xiàng)目不太成熟。 sofamesh就這樣走上了開源的自我學(xué)習(xí)之路。 在金融水平的苛刻要求面前,在雙11的極端場(chǎng)景下,到底怎么樣? 誰(shuí)的心都沒有底。
但是,此時(shí),兩年的心血將被浪費(fèi)。 反過來說,如果能打贏這場(chǎng)戰(zhàn)斗,云之原生之路在雙11這個(gè)體積的考驗(yàn)下是可能的,這對(duì)整個(gè)領(lǐng)域來說將是一個(gè)很好的標(biāo)桿。
資深技術(shù)人員楊海悌說:“螞蟻金服將成為金融領(lǐng)域技術(shù)的開拓者和實(shí)踐者?!?/p>
這不是螞蟻金服第一次成為“吃螃蟹的人”,但當(dāng)金融機(jī)構(gòu)依靠ioe的時(shí)候,他們率先開始探索分散,現(xiàn)在分散成為主流,他們又率先開始思考云的原生。
看到“以前是業(yè)務(wù)推進(jìn)技術(shù),現(xiàn)在到了技術(shù)為業(yè)務(wù)提供紅利的時(shí)候了”自己成長(zhǎng)的sofamesh,楊海悌很自信,另一方面非常動(dòng)搖。
sofamesh是支付寶( Alipay )比較金融領(lǐng)域特殊訴求開發(fā)的金融級(jí)中間件,是金融級(jí)云原生分布式框架sofastack的一部分,始于2009年,大致與雙11同齡。
騾子是馬,不散步不知道。 sofamesh的最初答復(fù)很快就提交了。 傳統(tǒng)的時(shí)分復(fù)用資源切換需要4個(gè)小時(shí),使用sofamesh還不到4分鐘。 性能提高近100倍。
時(shí)分復(fù)用是指,如名稱所示,允許在不同的時(shí)間段將相同的資源“復(fù)用”到多個(gè)應(yīng)用程序。 這項(xiàng)技術(shù)可以減少資源閑置,提高資源利用效率。 這項(xiàng)技術(shù)在年雙11上立過功——當(dāng)時(shí),支付寶( Alipay )面對(duì)這一天貓雙11和自己會(huì)員急需的“雙著急”挑戰(zhàn),為了節(jié)約價(jià)格購(gòu)買了一些資源,分時(shí)安排了1.0,采用了同樣的資源,兩大
但是,去年,以靈活的體系結(jié)構(gòu)模式進(jìn)行分時(shí)調(diào)度,切換資源需要重新配置和部署相關(guān)系統(tǒng),4小時(shí)的切換時(shí)間支持“兩大促進(jìn)”,但要求在短時(shí)間內(nèi)迅速調(diào)用資源的業(yè)務(wù)
今年以來,通過sofamesh的在線,無需重新配置交換機(jī)資源,切換時(shí)間縮短到了3分40秒。 這意味著,像螞蟻森林一樣,每天都要面臨流量少的高峰業(yè)務(wù),不需要事先留出資源余量,提前10分鐘開始資源切換,是綽綽有余的。
“預(yù)計(jì)將來切換時(shí)間將縮短到秒級(jí)。 ”楊海悌說。
2019年的雙11,sofamesh扮演了非常重要的角色。 ——100%覆蓋螞蟻金服核心支付鏈接、數(shù)十萬(wàn)容器、峰值數(shù)千萬(wàn)qps、平均rt (響應(yīng)時(shí)間) 0.2ms,是業(yè)界最大的服務(wù)mesh集群。 在其洪峰面前的穩(wěn)定性和平滑性,以及效率的顯著提高,是有目共睹的。
在這張漂亮的成績(jī)單后面,其實(shí)是一個(gè)字——行。
“云原生”已經(jīng)成為業(yè)界公認(rèn)的技術(shù)趨勢(shì),以提高運(yùn)維效率、降低資源采用價(jià)格、提高服務(wù)安全可靠性等為目標(biāo)。 云本機(jī)基礎(chǔ)架構(gòu)升級(jí)為技術(shù)發(fā)展提供了基礎(chǔ)架構(gòu)支持,提高了未來體系結(jié)構(gòu)空之間的想象力。 2019年也是支付寶( Alipay )金融級(jí)云原落地元年,包括sofamesh在內(nèi)的一系列云原生技術(shù)經(jīng)過了雙11的考驗(yàn),向整個(gè)行業(yè)說明——我們可以走云原生這條路。
雙11之后,在螞蟻金服舉辦的發(fā)布會(huì)上,副cto胡喜宣布將打磨后的sofamesh嵌入sofastack系統(tǒng)進(jìn)行公開。
正如“元年”一詞所說,這只是螞蟻金服邁出新開拓道路的第一步。
oceanbase 2.2 :世界記錄是為了被打破
oceanbase被質(zhì)疑“是否合適”的次數(shù)更是多得數(shù)不勝數(shù)。
數(shù)據(jù)庫(kù)是命脈,特別是金融機(jī)構(gòu)的數(shù)據(jù)庫(kù),有些問題都是真金白銀的問題,任何業(yè)務(wù)都不用冒風(fēng)險(xiǎn),老老實(shí)實(shí)抱著老牌進(jìn)口商品oracle,謀求太平。
但是甲骨文也沒見過雙11這場(chǎng)戰(zhàn)斗。 隨著雙11的流量每年翻番,我看到它的性能撞到了天花板上。 在年雙11前的壓力測(cè)量中,oracle出現(xiàn)了10%的流量缺口。
oceanbase感受到了機(jī)會(huì)。 在此之前,他們已經(jīng)“蟄居”了四五年,沒有固定的業(yè)務(wù),在最落魄的時(shí)候,面臨著團(tuán)隊(duì)解散和項(xiàng)目取消的局面。
當(dāng)時(shí)的oceanbase將滿5歲,但版本號(hào)仍為0.x,看起來還是個(gè)demo,從一開始就要承受雙11 10 %的流量,相當(dāng)于支付寶( Alipay )平日流量的最高峰,而且是最核心的交易西
有一段時(shí)間,不斷出現(xiàn)“你們行不行”的質(zhì)疑聲。
“當(dāng)人們說我們不行的時(shí)候,我們想得非常堅(jiān)定。 ”。 螞蟻金服研究員楊傳輝說。 他是oceanbase開發(fā)團(tuán)隊(duì)的早期成員之一,他目睹了oceanbase寫下了第一段代碼。
從完成10%的任務(wù),到雙11正式高考,時(shí)間不到兩周。 最后10天,資深運(yùn)維專家文匯帶著全隊(duì)幾乎不眠不休地進(jìn)行了優(yōu)化,將長(zhǎng)達(dá)10毫秒的響應(yīng)時(shí)間降至1毫秒以下。
那年的雙11,oceanbase毫無疑問,一戰(zhàn)成名。
今年的雙11,oceanbase的版本號(hào)是2.2。 在命名版本方面,他們的謹(jǐn)慎做法一如既往。
但是每個(gè)oceanbase版本發(fā)生的都是“重生”的變化,自己創(chuàng)造的記錄也在自己持續(xù)更新——
年雙11,基于oceanbase 2.0分區(qū)方案的體系結(jié)構(gòu)正式上線。 該體系結(jié)構(gòu)處理了數(shù)據(jù)庫(kù)的可擴(kuò)展瓶頸,將事務(wù)的每秒承載能力提高到100萬(wàn)級(jí),性能提高了50%。
50%的漲幅不在少數(shù),但更令人驚訝的是,時(shí)隔僅一年,2019年的雙十一中,新的在線oceanbase 2.2版本在2.0的基礎(chǔ)上提高了50%的性能。
今年10月3日,權(quán)威機(jī)構(gòu)國(guó)際事務(wù)解決效能委員會(huì)tpc援引螞蟻金服分布式關(guān)系數(shù)據(jù)庫(kù)oceanbase的消息稱,美國(guó)甲骨文企業(yè)保持了9年的世界紀(jì)錄,以tpc-c排名第一,成為首次出現(xiàn)在該排行榜上的中國(guó)數(shù)據(jù)庫(kù)系統(tǒng)。
僅僅一個(gè)月后,在2019年雙11考場(chǎng)上,oceanbase2.2再次刷新數(shù)據(jù)庫(kù)解決高峰,達(dá)到6100萬(wàn)次/秒,創(chuàng)下新的世界紀(jì)錄。
在金融級(jí)核心數(shù)據(jù)庫(kù)的嚴(yán)格要求下,oceanbase為什么能夠?qū)崿F(xiàn)這樣的跨越式性能升級(jí)?
重要的秘密是,oceanbase的背后是原生的分布式數(shù)據(jù)庫(kù)設(shè)計(jì)和paxos協(xié)議,通過水平擴(kuò)展x86服務(wù)器可以無限伸縮,支持大規(guī)模并發(fā)的效果。
另一方面,今年為了進(jìn)一步提高性能和降低延遲,oceanbase通過中間件優(yōu)化自動(dòng)將多個(gè)sql聚合到輕量級(jí)存儲(chǔ)過程中。 這個(gè)過程將原本需要幾十次sql互聯(lián)網(wǎng)交互的任務(wù)減少到了一次互聯(lián)網(wǎng)交互,從而將總體rt減少了20%。
目前,支付寶( Alipay )的業(yè)務(wù)已經(jīng)跑了100%oceanbase,作為我國(guó)首個(gè)自研的金融級(jí)分布式數(shù)據(jù)庫(kù),經(jīng)過6年的雙11錘子精煉,走出了螞蟻金服,具備了走向更廣闊天地的潛力。
在今年的雙11中,100%的支付寶( Alipay )支付業(yè)務(wù)切換到oceanbase嵌入式oracle兼容模式,支持oracle語(yǔ)法和存儲(chǔ)過程的優(yōu)化,還支持分布式分區(qū)表、全局 雙11之后,oceanbase2.2也將正式上映。
“但是,當(dāng)別人覺得我們什么都好的時(shí)候,我們反而會(huì)冷靜下來,認(rèn)為自己還有不行的地方。 ”。 楊傳輝說,技術(shù)上未知的恐懼,可以讓大家走得更遠(yuǎn)。
圖智能:多而復(fù)雜的金融關(guān)系的最優(yōu)解
螞蟻金服計(jì)算存儲(chǔ)首席設(shè)計(jì)師何昌華指出:“過去很長(zhǎng)一段時(shí)間里,圖數(shù)據(jù)庫(kù)和圖計(jì)算都停留在學(xué)術(shù)研究階段,領(lǐng)域應(yīng)用場(chǎng)景較少,是因?yàn)闆]有強(qiáng)場(chǎng)景驅(qū)動(dòng),市場(chǎng)發(fā)展不太迅速?!?但是,反過來看,與圖相關(guān)的產(chǎn)品近年來熱度有所上升。 其核心原因是強(qiáng)場(chǎng)景的驅(qū)動(dòng),特別是金融場(chǎng)景,解決了大量、多、復(fù)雜、相關(guān)、多樣化的網(wǎng)格數(shù)據(jù),通過節(jié)點(diǎn)和相關(guān)的數(shù)據(jù)模型,有效地解決了許多復(fù)雜的關(guān)系問題。
阿里一站式圖平臺(tái)的誕生,也具有鮮明的螞蟻金服特色,同樣“忙于業(yè)務(wù)”。
螞蟻金服大約從2005年開始研究社區(qū)的圖計(jì)算,當(dāng)時(shí)的團(tuán)隊(duì)在一點(diǎn)開源產(chǎn)品的基礎(chǔ)上進(jìn)行了小規(guī)模的嘗試,結(jié)果發(fā)現(xiàn)效果很好,圖數(shù)據(jù)庫(kù)可以很好地與金融、社會(huì)交流業(yè)務(wù)相結(jié)合。 但是,吖啶服具有龐大的數(shù)據(jù)量,需要分布式架構(gòu)支持高并發(fā)大數(shù)據(jù)量和大吞吐量,但當(dāng)時(shí)無論是開源還是商業(yè)數(shù)據(jù)庫(kù)產(chǎn)品還是獨(dú)立版,都需要阿里服那樣的數(shù)據(jù)量和眾多復(fù)雜的環(huán)境 然后,艱難而扎實(shí)的自研之路開始了。
首先,處理圖數(shù)據(jù)的存儲(chǔ)和在線查詢問題。
從數(shù)據(jù)量來看,分布式體系結(jié)構(gòu)是唯一的選擇。 出于滿足金融場(chǎng)景高并發(fā)低延遲的訴求,選擇原生圖結(jié)構(gòu)而不是基于關(guān)系數(shù)據(jù)庫(kù)封裝圖數(shù)據(jù)是必然的。 但是,由于以上兩點(diǎn),整個(gè)開發(fā)的難度大大增加。
年初組隊(duì),經(jīng)過“冬練三九、夏練三伏”的苦修,以及在代碼、運(yùn)維、穩(wěn)定性等各個(gè)環(huán)節(jié)的終極追求,首張圖數(shù)據(jù)庫(kù)版本geabase于年初發(fā)布。
那時(shí),恰逢支付寶( Alipay )史上最大的改版,模塊化功能被新聞流取代,大大加強(qiáng)了社會(huì)交流關(guān)系的屬性,geabase開始訪問支付寶( Alipay )鏈接。
百煉成鋼經(jīng)過幾個(gè)月的壓力測(cè)試,去年6月,新版支付寶( Alipay )上線,geabase迎來了最初的流量。 其次,從支付寶( Alipay )大改版開始,新春紅包、雙11、geabase迎來了業(yè)務(wù)開花期,到2019年雙11、geabase雙11主鏈路上單集群規(guī)模突破萬(wàn)億邊,邊找點(diǎn)邊突破800萬(wàn)qps,平均延遲為10ms。 成為支付寶( Alipay )中心鏈接的重要一環(huán)
數(shù)據(jù)存儲(chǔ)和查詢問題得到處理,接下來處理的是分析計(jì)算問題。
首先,考慮了在龐大的圖數(shù)據(jù)中如何進(jìn)行數(shù)據(jù)挖掘。 從千億到萬(wàn)億級(jí)規(guī)模,對(duì)于幾tb到幾百tb的數(shù)據(jù),使用巨大的內(nèi)存物理機(jī)和高速互聯(lián)網(wǎng)實(shí)現(xiàn)離線全圖計(jì)算,對(duì)公司來說不太現(xiàn)實(shí),資源也有巨大的浪費(fèi)。 因此,重點(diǎn)在于如何滿足業(yè)務(wù)功能/性能訴求,利用碎片化的現(xiàn)有資源實(shí)現(xiàn)“按需計(jì)算”。
因此,年,我們根據(jù)大量的數(shù)據(jù),設(shè)計(jì)了離線計(jì)算框架,提供了自適應(yīng)的分區(qū)策略,資源消耗量可以比同類產(chǎn)品減少一個(gè)數(shù)量級(jí),遠(yuǎn)遠(yuǎn)優(yōu)于graphx等開源產(chǎn)品。
另外,為了方便業(yè)務(wù)算法者配合其業(yè)務(wù)進(jìn)行二次開發(fā),還開放了c++和java的接口,除了行業(yè)常見的圖形編程框架的pregel、gas之外,還實(shí)現(xiàn)了一定的“微創(chuàng)新”
對(duì)計(jì)算的事件進(jìn)行了全量分解處理,但隨著“310”戰(zhàn)略的推進(jìn),風(fēng)控工作的快速發(fā)展,對(duì)分解時(shí)間長(zhǎng)度的要求越來越高,分解更快、更實(shí)時(shí),年開始考慮在線地圖的計(jì)算能力。
有時(shí),并不是所有業(yè)務(wù)都需要進(jìn)行多復(fù)雜圖的分解,而是在滿足一定條件后才開始子圖的迭代計(jì)算。 最后,基于圖的迭代計(jì)算結(jié)果在解決了數(shù)據(jù)鏈路之后被提供給在線采用。
因此,一個(gè)場(chǎng)景在完整的計(jì)算鏈接中,需要流計(jì)算和圖計(jì)算兩種模態(tài)的融合計(jì)算。 我們打破了以前流傳下來的計(jì)算模式邊界,提供了流程圖融合的計(jì)算系統(tǒng)。 結(jié)合數(shù)據(jù)流和控制流,提供動(dòng)態(tài)dag功能,實(shí)現(xiàn)按需計(jì)算,實(shí)現(xiàn)靈活的可擴(kuò)展性。
客戶通過統(tǒng)一的dsl(sql+gremlin/gql )、一系列計(jì)算系統(tǒng),實(shí)現(xiàn)流程圖融合的鏈接,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的在線地圖計(jì)算能力,降低客戶的學(xué)習(xí)、運(yùn)輸價(jià)格
2019年雙11中,在線地圖計(jì)算技術(shù)大放異彩,通過秒級(jí)的決定,在花唄等場(chǎng)景中業(yè)務(wù)效果提高了1.2倍。
從“大”圖的存儲(chǔ),到離線全圖“按需計(jì)算”、“實(shí)時(shí)”在線圖的計(jì)算,阿里的圖智能技術(shù)沿著業(yè)務(wù)迅速發(fā)展和成長(zhǎng)。
融合引擎:新計(jì)算威力初探
今年的雙11落地應(yīng)用新的“神器”,融合了計(jì)算引擎,花費(fèi)了近100名工程師一年的心血。
融合計(jì)算引擎的基礎(chǔ)是螞蟻金服聯(lián)合uc berkeley大學(xué)推進(jìn)的新一代計(jì)算引擎ray,很年輕。 年融合計(jì)算引擎項(xiàng)目啟動(dòng)時(shí),它只有數(shù)萬(wàn)行代碼,距離金融級(jí)在線環(huán)境的應(yīng)用還很遠(yuǎn)。
“我們花了一年的時(shí)間增加到幾十萬(wàn)行代碼,涵蓋了c++、java、python等所有語(yǔ)言。 ”。 螞蟻金服的資深工程師周家英說。
至少有四個(gè)團(tuán)隊(duì)共同“撫養(yǎng)”這臺(tái)發(fā)動(dòng)機(jī),四個(gè)保姆帶著孩子,絆倒了,不可避免。 難度遠(yuǎn)遠(yuǎn)大于一個(gè)隊(duì)負(fù)責(zé)一個(gè)引擎。
但是,開發(fā)時(shí)的“難”是為了應(yīng)用時(shí)的“簡(jiǎn)”。
在計(jì)算引擎的運(yùn)行級(jí)別上,很少使用第三方存儲(chǔ),因?yàn)椴煌?jì)算模式的數(shù)據(jù)可以在引擎中共享,同時(shí)還節(jié)省了外部存儲(chǔ)和互聯(lián)網(wǎng)傳輸?shù)拈_銷。
在應(yīng)用方面,融合計(jì)算引擎不僅處理了金融場(chǎng)景中需要連接多個(gè)不同計(jì)算模型的難題,還支持各種低效業(yè)務(wù),在支付過程中提供秒級(jí)智能決策能力。
同時(shí)隨著融合引擎的落地,技術(shù)同學(xué)的研發(fā)習(xí)性也發(fā)生了改變。 我們希望通過融合計(jì)算引擎,達(dá)到研發(fā)狀態(tài)、運(yùn)行狀態(tài)、運(yùn)維狀態(tài)三位一體的統(tǒng)一:比如動(dòng)態(tài)圖計(jì)算場(chǎng)景中,計(jì)算開發(fā)同學(xué)只需要做一個(gè)流程+圖的計(jì)算工作,就可以實(shí)現(xiàn)秒級(jí)6度鄰圖的迭代計(jì)算。 同樣,在機(jī)器學(xué)習(xí)行業(yè),通過編制包括流程+模型訓(xùn)練+服務(wù)在內(nèi)的計(jì)算工作,可以實(shí)現(xiàn)端到端秒級(jí)模型導(dǎo)出的在線學(xué)習(xí)能力。 這樣,從開發(fā)到運(yùn)行狀態(tài),計(jì)算整體的效率得到了大幅提高。
年,融合計(jì)算在花唄逆套現(xiàn)的智能識(shí)別中表現(xiàn)出色。 2019年,融合計(jì)算引擎落地于支付寶( Alipay )的各個(gè)場(chǎng)景。 圖在花唄、螞蟻森林等場(chǎng)景大規(guī)模上線,圖數(shù)據(jù)庫(kù)geabase突破萬(wàn)億邊。
在2019年的支付寶( Alipay )新春紅包活動(dòng)中,融合了計(jì)算引擎,以在線學(xué)習(xí)能力支持新春紅包的智能文字,并將其算法推向了新的在線學(xué)習(xí)的系統(tǒng)。 該人系融合了流計(jì)算和機(jī)器學(xué)習(xí),使機(jī)器學(xué)習(xí)的模型迭代速度從以往的時(shí)間水平提高到了現(xiàn)在的秒水平。 此次的雙11點(diǎn),在“樹枝日歷”的推薦算法中發(fā)揮了重要的意義。
通過整合流媒體計(jì)算、服務(wù)和并發(fā)查詢,統(tǒng)一計(jì)算引擎將機(jī)器資源利用率降低60%,將端到端延遲降低到毫秒級(jí)別,支持金融互聯(lián)網(wǎng)業(yè)務(wù)查詢和監(jiān)控,
今年的雙11中,融合計(jì)算引擎至少在三個(gè)場(chǎng)景落地成功,被驗(yàn)證為可行,“跑了阿里金融級(jí)的重要決策鏈接”。 周家英不興奮。 “這表明我們的計(jì)算引擎具有金融水平的能力。 ”。
事實(shí)上,無論是雙11這樣極端的考試場(chǎng)景,還是支付寶( Alipay )、阿里巴巴以及各網(wǎng)絡(luò)科技企業(yè)的日常應(yīng)用場(chǎng)景,數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)都更多。 因此,大量數(shù)據(jù)的實(shí)時(shí)解決、分析和應(yīng)用、人工智能、深度學(xué)習(xí)等新技術(shù)的開發(fā),要求具有更強(qiáng)的計(jì)算能力,以及能夠應(yīng)對(duì)許多復(fù)雜場(chǎng)景的多種計(jì)算模型。
面向未來,越來越多的東西是未知的——我們不知道未來會(huì)出現(xiàn)什么樣的場(chǎng)景,這些場(chǎng)景要求什么樣的計(jì)算模型和計(jì)算能力。 “融合計(jì)算是真正意義上的新計(jì)算的第一步”螞蟻金服計(jì)算存儲(chǔ)首席設(shè)計(jì)師何昌華說。
標(biāo)題:“2019雙11,支付寶有那些“秘密武器”?”
地址:http://www.mawius.com//xwdt/37173.html