解析秒殺搶購(gòu)思路以及高并發(fā)下數(shù)據(jù)安全

我們通常衡量一個(gè)Web系統(tǒng)的吞吐率的指標(biāo)是QPS（Query Per Second，每秒處理請(qǐng)求數(shù)），解決每秒數(shù)萬次的高并發(fā)場(chǎng)景，這個(gè)指標(biāo)非常關(guān)鍵。舉個(gè)例子，我們假設(shè)處理一個(gè)業(yè)務(wù)請(qǐng)求平均響應(yīng)時(shí)間為100ms，同時(shí)，系統(tǒng)內(nèi)有20臺(tái)Apache的Web服務(wù)器，配置MaxClients為500個(gè)（表示Apache的最大連接數(shù)目）。

那么，我們的Web系統(tǒng)的理論峰值QPS為（理想化的計(jì)算方式）：

20*500/0.1 = 100000 （10萬QPS）

咦？我們的系統(tǒng)似乎很強(qiáng)大，1秒鐘可以處理完10萬的請(qǐng)求，5w/s的秒殺似乎是“紙老虎”哈。實(shí)際情況，當(dāng)然沒有這么理想。在高并發(fā)的實(shí)際場(chǎng)景下，機(jī)器都處于高負(fù)載的狀態(tài)，在這個(gè)時(shí)候平均響應(yīng)時(shí)間會(huì)被大大增加。

就Web服務(wù)器而言，Apache打開了越多的連接進(jìn)程，CPU需要處理的上下文切換也越多，額外增加了CPU的消耗，然后就直接導(dǎo)致平均響應(yīng)時(shí)間增加。因此上述的MaxClient數(shù)目，要根據(jù)CPU、內(nèi)存等硬件因素綜合考慮，絕對(duì)不是越多越好�？梢酝ㄟ^Apache自帶的abench來測(cè)試一下，取一個(gè)合適的值。然后，我們選擇內(nèi)存操作級(jí)別的存儲(chǔ)的Redis，在高并發(fā)的狀態(tài)下，存儲(chǔ)的響應(yīng)時(shí)間至關(guān)重要。網(wǎng)絡(luò)帶寬雖然也是一個(gè)因素，不過，這種請(qǐng)求數(shù)據(jù)包一般比較小，一般很少成為請(qǐng)求的瓶頸。負(fù)載均衡成為系統(tǒng)瓶頸的情況比較少，在這里不做討論哈。

那么問題來了，假設(shè)我們的系統(tǒng)，在5w/s的高并發(fā)狀態(tài)下，平均響應(yīng)時(shí)間從100ms變?yōu)?50ms（實(shí)際情況，甚至更多）：

20*500/0.25 = 40000 （4萬QPS）

于是，我們的系統(tǒng)剩下了4w的QPS，面對(duì)5w每秒的請(qǐng)求，中間相差了1w。

舉個(gè)例子，高速路口，1秒鐘來5部車，每秒通過5部車，高速路口運(yùn)作正常。突然，這個(gè)路口1秒鐘只能通過4部車，車流量仍然依舊，結(jié)果必定出現(xiàn)大塞車。（5條車道忽然變成4條車道的感覺）

同理，某一個(gè)秒內(nèi)，20*500個(gè)可用連接進(jìn)程都在滿負(fù)荷工作中，卻仍然有1萬個(gè)新來請(qǐng)求，沒有連接進(jìn)程可用，系統(tǒng)陷入到異常狀態(tài)也是預(yù)期之內(nèi)。

其實(shí)在正常的非高并發(fā)的業(yè)務(wù)場(chǎng)景中，也有類似的情況出現(xiàn)，某個(gè)業(yè)務(wù)請(qǐng)求接口出現(xiàn)問題，響應(yīng)時(shí)間極慢，將整個(gè)Web請(qǐng)求響應(yīng)時(shí)間拉得很長(zhǎng)，逐漸將Web服務(wù)器的可用連接數(shù)占滿，其他正常的業(yè)務(wù)請(qǐng)求，無連接進(jìn)程可用。

更可怕的問題是，是用戶的行為特點(diǎn)，系統(tǒng)越是不可用，用戶的點(diǎn)擊越頻繁，惡性循環(huán)最終導(dǎo)致“雪崩”（其中一臺(tái)Web機(jī)器掛了，導(dǎo)致流量分散到其他正常工作的機(jī)器上，再導(dǎo)致正常的機(jī)器也掛，然后惡性循環(huán)），將整個(gè)Web系統(tǒng)拖垮。

3. 重啟與過載保護(hù)

如果系統(tǒng)發(fā)生“雪崩”，貿(mào)然重啟服務(wù)，是無法解決問題的。最常見的現(xiàn)象是，啟動(dòng)起來后，立刻掛掉。這個(gè)時(shí)候，最好在入口層將流量拒絕，然后再將重啟。如果是redis/memcache這種服務(wù)也掛了，重啟的時(shí)候需要注意“預(yù)熱”，并且很可能需要比較長(zhǎng)的時(shí)間。

秒殺和搶購(gòu)的場(chǎng)景，流量往往是超乎我們系統(tǒng)的準(zhǔn)備和想象的。這個(gè)時(shí)候，過載保護(hù)是必要的。如果檢測(cè)到系統(tǒng)滿負(fù)載狀態(tài)，拒絕請(qǐng)求也是一種保護(hù)措施。在前端設(shè)置過濾是最簡(jiǎn)單的方式，但是，這種做法是被用戶“千夫所指”的行為。更合適一點(diǎn)的是，將過載保護(hù)設(shè)置在CGI入口層，快速將客戶的直接請(qǐng)求返回

高并發(fā)下的數(shù)據(jù)安全

我們知道在多線程寫入同一個(gè)文件的時(shí)候，會(huì)存現(xiàn)“線程安全”的問題（多個(gè)線程同時(shí)運(yùn)行同一段代碼，如果每次運(yùn)行結(jié)果和單線程運(yùn)行的結(jié)果是一樣的，結(jié)果和預(yù)期相同，就是線程安全的）。如果是MySQL數(shù)據(jù)庫(kù)，可以使用它自帶的鎖機(jī)制很好的解決問題，但是，在大規(guī)模并發(fā)的場(chǎng)景中，是不推薦使用MySQL的。秒殺和搶購(gòu)的場(chǎng)景中，還有另外一個(gè)問題，就是“超發(fā)”，如果在這方面控制不慎，會(huì)產(chǎn)生發(fā)送過多的情況。我們也曾經(jīng)聽說過，某些電商搞搶購(gòu)活動(dòng)，買家成功拍下后，商家卻不承認(rèn)訂單有效，拒絕發(fā)貨。這里的問題，也許并不一定是商家奸詐，而是系統(tǒng)技術(shù)層面存在超發(fā)風(fēng)險(xiǎn)導(dǎo)致的。

1. 超發(fā)的原因

假設(shè)某個(gè)搶購(gòu)場(chǎng)景中，我們一共只有100個(gè)商品，在最后一刻，我們已經(jīng)消耗了99個(gè)商品，僅剩最后一個(gè)。這個(gè)時(shí)候，系統(tǒng)發(fā)來多個(gè)并發(fā)請(qǐng)求，這批請(qǐng)求讀取到的商品余量都是99個(gè)，然后都通過了這一個(gè)余量判斷，最終導(dǎo)致超發(fā)。（同文章前面說的場(chǎng)景）

在上面的這個(gè)圖中，就導(dǎo)致了并發(fā)用戶B也“搶購(gòu)成功”，多讓一個(gè)人獲得了商品。這種場(chǎng)景，在高并發(fā)的情況下非常容易出現(xiàn)。

優(yōu)化方案1：將庫(kù)存字段number字段設(shè)為unsigned，當(dāng)庫(kù)存為0時(shí)，因?yàn)樽侄尾荒転樨?fù)數(shù)，將會(huì)返回false

<?php
//優(yōu)化方案1：將庫(kù)存字段number字段設(shè)為unsigned，當(dāng)庫(kù)存為0時(shí)，因?yàn)樽侄尾荒転樨?fù)數(shù)，將會(huì)返回false
include('./mysql.php');
$username = 'wang'.rand(0,1000);
//生成唯一訂單
function build_order_no(){
  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
}
//記錄日志
function insertLog($event,$type=0,$username){
    global $conn;
    $sql="insert into ih_log(event,type,usernma)
    values('$event','$type','$username')";
    return mysqli_query($conn,$sql);
}
function insertOrder($order_sn,$user_id,$goods_id,$sku_id,$price,$username,$number)
{
      global $conn;
      $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price,username,number)
      values('$order_sn','$user_id','$goods_id','$sku_id','$price','$username','$number')";
     return  mysqli_query($conn,$sql);
}
//模擬下單操作
//庫(kù)存是否大于0
$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id' ";
$rs=mysqli_query($conn,$sql);
$row = $rs->fetch_assoc();
  if($row['number']>0){//高并發(fā)下會(huì)導(dǎo)致超賣
      if($row['number']<$number){
        return insertLog('庫(kù)存不夠',3,$username);
      }
      $order_sn=build_order_no();
      //庫(kù)存減少
      $sql="update ih_store set number=number-{$number} where sku_id='$sku_id' and number>0";
      $store_rs=mysqli_query($conn,$sql);
      if($store_rs){
          //生成訂單
          insertOrder($order_sn,$user_id,$goods_id,$sku_id,$price,$username,$number);
          insertLog('庫(kù)存減少成功',1,$username);
      }else{
          insertLog('庫(kù)存減少失敗',2,$username);
      }
  }else{
      insertLog('庫(kù)存不夠',3,$username);
  }


?>

2. 悲觀鎖思路

解決線程安全的思路很多，可以從“悲觀鎖”的方向開始討論。

悲觀鎖，也就是在修改數(shù)據(jù)的時(shí)候，采用鎖定狀態(tài)，排斥外部請(qǐng)求的修改。遇到加鎖的狀態(tài)，就必須等待。

雖然上述的方案的確解決了線程安全的問題，但是，別忘記，我們的場(chǎng)景是“高并發(fā)”。也就是說，會(huì)很多這樣的修改請(qǐng)求，每個(gè)請(qǐng)求都需要等待“鎖”，某些線程可能永遠(yuǎn)都沒有機(jī)會(huì)搶到這個(gè)“鎖”，這種請(qǐng)求就會(huì)死在那里。同時(shí)，這種請(qǐng)求會(huì)很多，瞬間增大系統(tǒng)的平均響應(yīng)時(shí)間，結(jié)果是可用連接數(shù)被耗盡，系統(tǒng)陷入異常。

優(yōu)化方案2：使用MySQL的事務(wù)，鎖住操作的行

<?php
//優(yōu)化方案2：使用MySQL的事務(wù)，鎖住操作的行
include('./mysql.php');
//生成唯一訂單號(hào)
function build_order_no(){
  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
}
//記錄日志
function insertLog($event,$type=0){
    global $conn;
    $sql="insert into ih_log(event,type)
    values('$event','$type')";
    mysqli_query($conn,$sql);
}

//模擬下單操作
//庫(kù)存是否大于0
mysqli_query($conn,"BEGIN");  //開始事務(wù)
$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id' FOR UPDATE";//此時(shí)這條記錄被鎖住,其它事務(wù)必須等待此次事務(wù)提交后才能執(zhí)行
$rs=mysqli_query($conn,$sql);
$row=$rs->fetch_assoc();
if($row['number']>0){
    //生成訂單
    $order_sn=build_order_no();
    $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price)
    values('$order_sn','$user_id','$goods_id','$sku_id','$price')";
    $order_rs=mysqli_query($conn,$sql);
    //庫(kù)存減少
    $sql="update ih_store set number=number-{$number} where sku_id='$sku_id'";
    $store_rs=mysqli_query($conn,$sql);
    if($store_rs){
      echo '庫(kù)存減少成功';
        insertLog('庫(kù)存減少成功');
        mysqli_query($conn,"COMMIT");//事務(wù)提交即解鎖
    }else{
      echo '庫(kù)存減少失敗';
        insertLog('庫(kù)存減少失敗');
    }
}else{
  echo '庫(kù)存不夠';
    insertLog('庫(kù)存不夠');
    mysqli_query($conn,"ROLLBACK");
}
?>

3. FIFO隊(duì)列思路

那好，那么我們稍微修改一下上面的場(chǎng)景，我們直接將請(qǐng)求放入隊(duì)列中的，采用FIFO（First Input First Output，先進(jìn)先出），這樣的話，我們就不會(huì)導(dǎo)致某些請(qǐng)求永遠(yuǎn)獲取不到鎖�？吹竭@里，是不是有點(diǎn)強(qiáng)行將多線程變成單線程的感覺哈。

然后，我們現(xiàn)在解決了鎖的問題，全部請(qǐng)求采用“先進(jìn)先出”的隊(duì)列方式來處理。那么新的問題來了，高并發(fā)的場(chǎng)景下，因?yàn)檎?qǐng)求很多，很可能一瞬間將隊(duì)列內(nèi)存“撐爆”，然后系統(tǒng)又陷入到了異常狀態(tài)�；蛘咴O(shè)計(jì)一個(gè)極大的內(nèi)存隊(duì)列，也是一種方案，但是，系統(tǒng)處理完一個(gè)隊(duì)列內(nèi)請(qǐng)求的速度根本無法和瘋狂涌入隊(duì)列中的數(shù)目相比。也就是說，隊(duì)列內(nèi)的請(qǐng)求會(huì)越積累越多，最終Web系統(tǒng)平均響應(yīng)時(shí)候還是會(huì)大幅下降，系統(tǒng)還是陷入異常。

4. 文件鎖的思路

對(duì)于日IP不高或者說并發(fā)數(shù)不是很大的應(yīng)用，一般不用考慮這些！用一般的文件操作方法完全沒有問題。但如果并發(fā)高，在我們對(duì)文件進(jìn)行讀寫操作時(shí)，很有可能多個(gè)進(jìn)程對(duì)進(jìn)一文件進(jìn)行操作，如果這時(shí)不對(duì)文件的訪問進(jìn)行相應(yīng)的獨(dú)占，就容易造成數(shù)據(jù)丟失

優(yōu)化方案4：使用非阻塞的文件排他鎖

<?php
//優(yōu)化方案4：使用非阻塞的文件排他鎖
include ('./mysql.php');
//生成唯一訂單號(hào)
function build_order_no(){
  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);
}
//記錄日志
function insertLog($event,$type=0){
    global $conn;
    $sql="insert into ih_log(event,type)
    values('$event','$type')";
    mysqli_query($conn,$sql);
}


$fp = fopen("lock.txt", "w+");
if(!flock($fp,LOCK_EX   LOCK_NB)){
    echo "系統(tǒng)繁忙，請(qǐng)稍后再試";
    return;
}
//下單
$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id'";
$rs =  mysqli_query($conn,$sql);
$row = $rs->fetch_assoc();
if($row['number']>0){//庫(kù)存是否大于0
    //模擬下單操作
    $order_sn=build_order_no();
    $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price)
    values('$order_sn','$user_id','$goods_id','$sku_id','$price')";
    $order_rs =  mysqli_query($conn,$sql);
    //庫(kù)存減少
    $sql="update ih_store set number=number-{$number} where sku_id='$sku_id'";
    $store_rs =  mysqli_query($conn,$sql);
    if($store_rs){
      echo '庫(kù)存減少成功';
        insertLog('庫(kù)存減少成功');
        flock($fp,LOCK_UN);//釋放鎖
    }else{
      echo '庫(kù)存減少失敗';
        insertLog('庫(kù)存減少失敗');
    }
}else{
  echo '庫(kù)存不夠';
    insertLog('庫(kù)存不夠');
}
fclose($fp);


 ?>

5. 樂觀鎖思路

這個(gè)時(shí)候，我們就可以討論一下“樂觀鎖”的思路了。樂觀鎖，是相對(duì)于“悲觀鎖”采用更為寬松的加鎖機(jī)制，大都是采用帶版本號(hào)（Version）更新。實(shí)現(xiàn)就是，這個(gè)數(shù)據(jù)所有請(qǐng)求都有資格去修改，但會(huì)獲得一個(gè)該數(shù)據(jù)的版本號(hào)，只有版本號(hào)符合的才能更新成功，其他的返回?fù)屬?gòu)失敗。這樣的話，我們就不需要考慮隊(duì)列的問題，不過，它會(huì)增大CPU的計(jì)算開銷。但是，綜合來說，這是一個(gè)比較好的解決方案。

有很多軟件和服務(wù)都“樂觀鎖”功能的支持，例如Redis中的watch就是其中之一。通過這個(gè)實(shí)現(xiàn)，我們保證了數(shù)據(jù)的安全。

優(yōu)化方案5：Redis中的watch

<?php

$redis = new redis();
 $result = $redis->connect('127.0.0.1', 6379);
 echo $mywatchkey = $redis->get("mywatchkey");

/*
  //插入搶購(gòu)數(shù)據(jù)
 if($mywatchkey>0)
 {
     $redis->watch("mywatchkey");
  //啟動(dòng)一個(gè)新的事務(wù)。
    $redis->multi();
   $redis->set("mywatchkey",$mywatchkey-1);
   $result = $redis->exec();
   if($result) {
      $redis->hSet("watchkeylist","user_".mt_rand(1,99999),time());
      $watchkeylist = $redis->hGetAll("watchkeylist");
        echo "搶購(gòu)成功！<br/>"; 
        $re = $mywatchkey - 1;   
        echo "剩余數(shù)量：".$re."<br/>";
        echo "用戶列表：<pre>";
        print_r($watchkeylist);
   }else{
      echo "手氣不好，再搶購(gòu)！";exit;
   }  
 }else{
     // $redis->hSet("watchkeylist","user_".mt_rand(1,99999),"12");
     //  $watchkeylist = $redis->hGetAll("watchkeylist");
        echo "fail！<br/>";    
        echo ".no result<br/>";
        echo "用戶列表：<pre>";
      //  var_dump($watchkeylist);  
 }*/


$rob_total = 100;   //搶購(gòu)數(shù)量
if($mywatchkey<=$rob_total){
    $redis->watch("mywatchkey");
    $redis->multi(); //在當(dāng)前連接上啟動(dòng)一個(gè)新的事務(wù)。
    //插入搶購(gòu)數(shù)據(jù)
    $redis->set("mywatchkey",$mywatchkey+1);
    $rob_result = $redis->exec();
    if($rob_result){
         $redis->hSet("watchkeylist","user_".mt_rand(1, 9999),$mywatchkey);
        $mywatchlist = $redis->hGetAll("watchkeylist");
        echo "搶購(gòu)成功！<br/>";
     
        echo "剩余數(shù)量：".($rob_total-$mywatchkey-1)."<br/>";
        echo "用戶列表：<pre>";
        var_dump($mywatchlist);
    }else{
          $redis->hSet("watchkeylist","user_".mt_rand(1, 9999),'meiqiangdao');
        echo "手氣不好，再搶購(gòu)！";exit;
    }
}
?>

以上就是解析秒殺搶購(gòu)思路以及高并發(fā)下數(shù)據(jù)安全的詳細(xì)內(nèi)容，更多請(qǐng)關(guān)注php中文網(wǎng)其它相關(guān)文章！