在數(shù)據(jù)中心開始從硬盤驅(qū)動器過渡到固態(tài)驅(qū)動器 (SSD) 后不久，NVMe協(xié)議就開始支持高性能、直接連接的 PCIe SSD。NVMe 之后是 NVMe over Fabrics ( NVMe-oF )，它旨在有效地支持超大規(guī)模遠(yuǎn)程 SSD 池，有效地取代直連存儲 (DAS)，成為云基礎(chǔ)架構(gòu)中分解存儲的默認(rèn)協(xié)議。

最近，NVMe over TCP 已經(jīng)到來，以提供更強(qiáng)大的 NVMe-oF 技術(shù)，承諾以更低的部署成本和更低的設(shè)計(jì)復(fù)雜性實(shí)現(xiàn)高性能。從本質(zhì)上講，NVMe over TCP 使用簡單高效的 TCP/IP 結(jié)構(gòu)將 NVMe 擴(kuò)展到整個數(shù)據(jù)中心。

“能夠以低延遲進(jìn)行高帶寬通信，同時獲得存儲陣列之間的物理分離，然后添加一個包含 TCP 協(xié)議的普通交換網(wǎng)絡(luò)進(jìn)行傳輸，這將改變游戲規(guī)則，”業(yè)務(wù)和 IT 總監(jiān) Eric Killinger 說。技術(shù)咨詢公司Capgemini North America。“云超大規(guī)模企業(yè)已經(jīng)在采用這項(xiàng)技術(shù)，取代以前使用了兩年和三年的新 SSD 技術(shù)，以實(shí)現(xiàn)對數(shù)據(jù)分析和物聯(lián)網(wǎng)的更大查詢訪問，”他說。

背景：NVMe 和 NVMe-oF 的出現(xiàn)

當(dāng)使用 NVMe SSD 構(gòu)建的第一批陣列問世時，存儲獲得了巨大的速度提升，但這些設(shè)備仍然通過基于 SCSI 的主機(jī)連接與服務(wù)器通信。NVMe-oF 部署可以支持跨交換結(jié)構(gòu)的基于 NVMe 的塊存儲設(shè)備的遠(yuǎn)程直接內(nèi)存訪問 (RDMA)。Modbus Rtu

技術(shù)研究基礎(chǔ)設(shè)施系統(tǒng)研究副總裁 Eric Burgener 表示：“這是一種高性能存儲網(wǎng)絡(luò)協(xié)議，專門針對固態(tài)存儲進(jìn)行了優(yōu)化……并提供更低的延遲、更高的帶寬、并行性和更高的效率?！眻?jiān)定的IDC。

NVMe-oF 可用于不同類型的網(wǎng)絡(luò)傳輸，包括光纖通道 (FC)、以太網(wǎng)和 InfiniBand。在以太網(wǎng)中，有不同的傳輸選項(xiàng)，包括 RDMA over Converged Ethernet (RoCE)、iWARP 以及 TCP。

缺點(diǎn)是 FC、InfiniBand、RoCE 和 iWARP 選項(xiàng)都需要自定義主機(jī)總線適配器和驅(qū)動程序，這使得它們的實(shí)施和維護(hù)具有挑戰(zhàn)性且成本高昂。“基于 TCP 的 NVMe 是真正的行業(yè)標(biāo)準(zhǔn)，可與幾乎每臺企業(yè)服務(wù)器上的標(biāo)準(zhǔn)融合以太網(wǎng)適配器配合使用，”Burgener 解釋說。此外，大多數(shù)主要的 Linux 變體現(xiàn)在都在其標(biāo)準(zhǔn)分發(fā)中包含 NVMe-over-TCP 驅(qū)動程序。

“這是一個已發(fā)布并被接受的標(biāo)準(zhǔn)，這意味著從長遠(yuǎn)來看它將主導(dǎo) NVMe-oF 部署，”Burgener 說?！八膶?shí)施成本也更低，并且不需要標(biāo)準(zhǔn) Linux 或以太網(wǎng)適配器之外的升級計(jì)劃，但與 RoCE（迄今為止已廣泛部署的另一種以太網(wǎng)選項(xiàng)）相比，它的延遲要高一些?！?/p>

RoCE 和 iWARP 都支持 RDMA，而 FC 和 TCP 不支持。這種支持 RDMA 的能力允許稍低的延遲，但所有方法都設(shè)法比基于 SCSI 的普通存儲網(wǎng)絡(luò)技術(shù)（如光纖通道 (FC) 和 iSCSI）提供顯著的性能改進(jìn)。 

NVMe/TCP部署和使用

采用 NVMe/TCP 的一個主要原因是提供低延遲的共享存儲解決方案。

“如果你有一個基于 NVMe 的全閃存陣列，但仍然通過基于 SCSI 的存儲網(wǎng)絡(luò)連接到服務(wù)器，那么你可能會在桌面上留下很多性能并且你沒有使用你的固態(tài)存儲資源幾乎同樣有效，”Burgener 說?！叭绻Ｍ麑⒒?NVMe 的全閃存陣列的性能一直交付給您的應(yīng)用程序，您需要一個 NVMe-oF 存儲網(wǎng)絡(luò)?！?/p>

對于大多數(shù)組織而言，最終的傳輸選擇將由已部署的任何技術(shù)或大規(guī)模性能要求驅(qū)動。

“FC 是滿足后一種要求的最佳傳輸方式，但隨著更高帶寬以太網(wǎng)網(wǎng)絡(luò)的每個新版本的推出，差異化變得越來越小，因?yàn)橐蕴W(wǎng)能夠以更高的帶寬處理更多……存儲工作負(fù)載，”Burgener 說。“有一些對性能非常敏感的應(yīng)用程序在使用 FC 作為 NVMe-oF 的傳輸層時會做得更好，但隨著時間的推移，它們會越來越少，”他補(bǔ)充道。

如果企業(yè)已經(jīng)擁有 FC 網(wǎng)絡(luò)，則在其上安裝 NVMe-oF 相對容易，許多組織已經(jīng)這樣做了。Burgener 說，大多數(shù)商業(yè)新建部署將選擇使用以太網(wǎng)，而 TCP 最終將在那里獲勝。

在應(yīng)用方面，“我們可能會及時看到大量基于 TCP 的 NVMe 用于 AI/ML 驅(qū)動的大數(shù)據(jù)分析工作負(fù)載，特別是如果它們本質(zhì)上是實(shí)時的，”Burgener 說?！癧采用] 有意義的另一個地方是在已將大量工作負(fù)載整合到單個存儲陣列上并且需要能夠以高工作負(fù)載密度大規(guī)模提供性能的環(huán)境中?！?/p>

雖然 AI/ML 驅(qū)動的大數(shù)據(jù)分析采用率正在增長，但該領(lǐng)域仍處于相對初期的階段。更直接的是，NVMe/TCP 在基于閃存的超大型存儲部署環(huán)境中獲得了吸引力，特別是當(dāng)必須通過現(xiàn)有的高帶寬交換網(wǎng)絡(luò)投資快速訪問大量低延遲數(shù)據(jù)時。

“超大規(guī)模是這項(xiàng)技術(shù)的自然消費(fèi)者，因?yàn)樗С珠W電般快速的數(shù)據(jù)訪問，并允許將數(shù)據(jù)分布在多個數(shù)據(jù)中心 pod 中，提供電網(wǎng)、冷卻和本地化高可用性架構(gòu)優(yōu)勢，而不會增加正常情況下產(chǎn)生的成本光纖網(wǎng)絡(luò)擴(kuò)建，”Killinger 說。

NVMe/TCP 還可以讓采用者利用現(xiàn)有的對交換網(wǎng)絡(luò)技術(shù)的投資，這些技術(shù)已經(jīng)商品化并且可以從許多 OEM 獲得?！芭c單獨(dú)的 Infiniband 或光纖通道相比，連接多個綁定 10G 交換以太網(wǎng)端口的每端口成本使得可以利用 NVMe 的 TCP 堆棧實(shí)現(xiàn)，”Killinger 說。

 Burgener 指出，許多高端存儲采用者已經(jīng)致力于 FC 存儲網(wǎng)絡(luò)，并且已經(jīng)升級或目前正計(jì)劃升級到 RoCE 。然而，這種情況可能會在未來幾年內(nèi)發(fā)生變化。

Burgener 說，隨著存儲基礎(chǔ)設(shè)施越來越多地轉(zhuǎn)向固態(tài)存儲，并且客戶越來越關(guān)心基礎(chǔ)設(shè)施效率，NVMe over TCP 將明顯勝過 SCSI，而且成本低廉且易于實(shí)施。

NVMe-over-TCP 可用性

NVMe 及其規(guī)范由網(wǎng)絡(luò)、存儲和其他 IT 相關(guān)公司組成的聯(lián)盟 NVM Express, Inc. 擁有和維護(hù)。NVMe 規(guī)范于 2011 年發(fā)布，定義了主機(jī)軟件如何通過 PCI Express (PCIe) 總線與非易失性內(nèi)存通信，現(xiàn)在已成為所有外形規(guī)格的 PCIe SSD 的行業(yè)標(biāo)準(zhǔn)。NVMe/TCP 于 2018 年獲得 NVM Express 聯(lián)盟的批準(zhǔn)。

按照目前的情況，NVMe/TCP 支持主要來自網(wǎng)絡(luò)供應(yīng)商，例如 Mellanox Technologies（現(xiàn)在歸NVIDIA所有）以及少數(shù)存儲初創(chuàng)公司，包括 Lightbits Labs、  Excelero、Pavilion Data和Infinidat。SSD 芯片制造商Kioxia（以前是東芝的一部分）也支持 NVMe over TCP。

NVMe/TCP 的可用性預(yù)計(jì)將在未來幾年快速增長?！按蠖鄶?shù)主要的企業(yè)存儲供應(yīng)商還沒有推出它，但可能會在未來 12 到 18 個月內(nèi)推出，”Burgener 預(yù)測。

目前短期、大規(guī)模 NVMe-over-TCP 采用的一個障礙也是它可能取得長期成功的一個原因。

“大多數(shù) IT 組織至少都在試驗(yàn)公共云服務(wù)，估計(jì)超過 90% 的企業(yè)在一個或多個公共云中有一些存在，”Killinger 說。與此同時，IT 更新率呈下降趨勢，許多組織沒有預(yù)算足夠的資金來使用高端 NVMe 技術(shù)更新其老化的存儲基礎(chǔ)架構(gòu)?！叭欢渲幸恍┕菊趯ふ夜苍品?wù)提供商來取代他們的企業(yè) IT 服務(wù)，而這正是 NVMe over TCP 將蓬勃發(fā)展的地方，其增長速度比企業(yè) IT 購買力的增長速度要高出許多倍，”他指出。

展望未來，Burgener 看到了 NVMe/TCP 的光明前景?！暗?[采用率] 可能要到 2022 年底或 2023 年底才會真正開始增加，”他預(yù)測道。

Killinger 也樂觀地認(rèn)為 NVMe/TCP 最終將成為主流技術(shù)?！拔艺J(rèn)為 NVMe over TCP 沒有理由不蓬勃發(fā)展，甚至在未來幾年加速 SSD 部署，”他說。

Killinger 預(yù)計(jì) SSD 存儲 OEM 將很快進(jìn)行大規(guī)模營銷，渴望展示他們的產(chǎn)品在 NVMe over TCP 上的性能。“對于合適的企業(yè) IT 副總裁來說，這足以影響他們的采購決策，”他說。