前言

目前国内和业界大多数书籍和文献对数据中心基础设施（机电Facility）讲解大多都是较为传统套路，其内容逻辑脉络也类似，主要围绕以下几个方面逐步展开：

• 数据中心的发展历程/趋势；

• 数据中心KPI，例如经济性，可用性，能效等；

• 数据中心一些设计规范和规划原则，包括国际标准和国内标准，数据中心分级等；

• 基于数据中心的几个大系统进行细项讲解，例如电力系统，暖通系统，监控系统等。而电力系统里面又分为发电机、中压配电、低压配电、UPS和电池系统、接地防雷、照明等；

较好一点的书籍，会在讲解系统设计和概念时，探讨一些系统设计的演变和理念。这些书籍有不少是厂商资料、规范的堆砌，富有行业真知灼见的并不多。即使谈及一些技术发展趋势，也更多关注于技术优劣而非技术应用对商业价值实现。在此，笔者提出几个问题，读者可以借此回顾自身项目和工作经验并加以思考：

• 为什么要用这种系统设计和产品设计，而非其他？

• 每个不同设计和技术背后的目的是什么，解决什么问题，达成什么商业目标？

• 国外数据中心到底有什么商业模式和目标，哪些设计和技术能很好满足这些要求？

笔者查阅很多国内书籍，多数关注讲解技术细节，缺乏谈及设计背后的逻辑思想和商业价值。也就是讲解技术的同时，并没有把商业市场和技术应用结合的关键点阐述清楚。正是这个原因，笔者想通过商业模式和价值结合技术应用此文讲述模块化数据中心技术，希望提供一个更融合的新视角给读者。本文主要讲述几个大方面：

• 国内外数据中心IDC的商业模式有哪些？

• 国外技术实践，以及如何实现其商业模式和价值；

• 国内外模块化数据中心技术应用的差异比较；

IDC商业模式介绍

  1Colo租赁托管IDC市场

在国内市场上，目前仍然有不少客户是自建数据中心，例如国防和科研机构使用的HPC高性能计算，金融行业两地三中心，大型企业以及互联网巨头自建IDC。而国外发达欧美市场，IDC建设主要基本上集中是三类客户，国防和科研实验机构，互联网巨头，Colo公司和运营商。

• 第一类的国防和科研实验机构，用于地震探测，石油勘探，气象分析，天体物理模拟等，这类应用也是超算中心的客户，也包含一些IT科研企业，例如印度班加罗尔拥有丰富的IT技术人才和研发实验室，那里有不少自建IDC以满足研究和实验要求。

• 第二类是互联网巨头，互联网公司的超大规模应用，追求可用性和低成本，高效率方式，而业界大部分租赁托管IDC标准虽然能满足要求，但这类客户往往需要深度定制获取更好的成本以及规模效益。

• 第三类Colo公司和运营商，都是建设数据中心用于租赁生意。而这些Colo公司面向的客户就非常广泛，涵盖中小企业，金融，政府，互联网，制造业，交通，能源等等。

本文主要关注于Colo租赁托管IDC市场，为什么只谈Colo公司呢？最主要原因是Colo数据中心往往具有非常大的技术应用普遍性。Colo公司的技术方式必须可以解决大部分客户自建需求才能吸引租户。对比自建，可以说Colo机房就算不能做得更好至少不能做得更差。第二类的互联网公司有软件和硬件的掌控力，往往有自身的技术发展规划路线而自成一派。这类数据中心有很多崭新的技术和设计，但问题在于对其他用户的普适性不好，例如Facebook数据中心就未必适合谷歌，谷歌也未必适合微软。互联网和云服务公司自建数据中心，重资产投入前提是有稳定且一定体量业务，没有规模，成本效应不明显还不如采用定制租赁方式。这就类似公司到底租办公楼还是买地自建办公楼道理一样。国内的金融行业实在太有钱，比较任性，可以自建超大规模的数据中心。而国内的Colo市场，整体机电设计质量，设备品牌，选型，施工质量，运营水平和标准，与国际同行水平比较仍差距较大。这就导致国内金融行业，特别大型银行，金融机构，优先选择自建。笔者实地考察过香港、新加坡、美国、欧洲等数据中心，例如香港NTT将军澳金融数据中心，里面设计，工艺，运营水平，管理方式，安防策略，都是国际一流水平。国内还没见过任何类似规模IDC可以达到其水平，即使挑剔和保守的金融行业，也愿意选择租用Colo机房。由于欧美都有很多高水平的Colo供应商，客户自然不想投入大量人力物力部署重资产自建IDC和运营，相反更乐意采用租赁托管的轻资产模式。云计算发展，笔者相信会挤压一部分Colo租赁托管市场。对于资产的投入和管理，IDC租赁托管，服务器主机托管，甚至云计算，笔者做了一张图进行类比，虽然不太准确，但能让读者更直观理解各种外包租赁托管服务模式大体差异。更清晰准确地，读者可以上网查阅各自定义。

图1 外包租赁托管模式比较

  2

Colo租赁托管IDC的销售模式

抛开主机租赁托管和云计算不谈，目前国际上Colo主要集中有两大主要销售模式：批发和零售。其实Colo租赁托管IDC，本质上就是房地产商业模式。笔者用一个日常生活例子并附上图例加以说明

一个商业办公楼宇，业主（建设方）有3层，可以用于出租给商户来赚钱。其中第三层专门出租给各种小商户（例如衣服店，皮具，鞋等），第二层专门出租大商户（例如大超市，电影院），而第一层，由一个大客户承包一层，然后自己再根据里面布局情况重新分配卖给其他小商户（例如美食广场，一个大承包商租了场地，然后其再分包给下面很多餐饮店，自己做分包管理）。

所以，在Colo租赁托管IDC里面，面向零售业务为主的，就会出现租赁几个机架，或者十几个机架，甚至半个机架这样的散户。这些散户通常没有专业技术人员，服务器和网络设备也少，人员不在本地，需要依赖Colo公司的一些远程协助服务。这些Colo公司除了有机电运营团队外，往往还有一支懂IT和网络的团队以满足散租客户需求。

而面向批发业务的，Colo公司一般只有机电运营团队，租户通常会有驻场工程师能够做IT和网络运营。随着Colo的发展，在国外，批发和零售的Colo供应商之间不断竞争，导致其容量分界线越来越模糊，服务交错组合趋向一致。业界比较多人认同的是，200~250kW可以是零售或批发的分界线。全球范围内，典型的Colo零售和批发业务都具备的公司是Equinix，批发业务为主的是DRT。批发转零售方式，香港是典型例子。香港有不少物流园区，地主本来只是简单的出租仓库空间就可以，后来地主发现与其做仓库，不如接入电力和网络后变成IDC做土地租赁更赚钱，于是乎就把场地以长期合同租给一个Colo公司去建IDC。接着，Colo公司建好，自己也没有那么多人力和能力服务众多小客户，还要养IT、网络的技术人员。于是Colo公司再找一个合作伙伴，能够把一个或多个Datahall机房包间整体出租，交由这个合作伙伴去做零售业务，这就是批发转零售的模式。如此一来，Colo公司就省心省力，只需管好Datahall内外的机电设施，机架部分就交由合作伙伴服务。这个合作伙伴，跟Colo公司之间通过长期机房租赁合同以及服务背靠背协议来保障。国内运营商在香港就有通过这种模式对外提供服务。

最后一点就是闲置容量转售。在绝大多数情况下，零售客户功率密度通常较低，实际场景经常是2~3kW机架功耗，所以Colo机房为了进一步提升机架出租量和降低成本，会和客户约定是非专属电力和制冷容量，允许共享。意思就是，例如A租户说需要3个5kW机架容量，但实际使用只有10kW，Colo机房可以把剩下5kW电力和制冷容量卖给其他租户。而批发用户，通常要求是专属容量，即使有多余的容量，也不允许转售。

  3

Colo租赁托管IDC的计费模式

目前Colo的计费模式主要两大类，包电包租和租电分离。包电包租，就好比酒店，电费租金一个价全包；租电分离，就好比租房，房租和电费分开支付。在租电分离的计费模式当中，大体分为三种：

• 以测量的IT能耗kWh，乘以按照预先约定的PUE，再乘以市场公开的标准电费（当地供电局标准收费）。有些精确对成本控制的IDC，往往会给出PUE和负载比例的约定，例如约定50%以下负载时PUE是1.8，超过50%负载PUE是1.6，这样不但可以让租户有冲动租用更大容量，或增加部署速度，同时可以通过约定低PUE体现商务优势。这种计费模式下，Colo公司通过更节能的设计，只要实际运行PUE比约定PUE值低，就能够在电费上获取一定收益。

• 以测量的IT能耗kWh，直接乘以约定的电费基准。这里约定的电费基准，是因为Colo公司建设了整个IDC，把机电设施建设成本，运营成本和PUE成本都打包进去电费基准值计算。这个基准值肯定高于供电局电费标准值。这种计费模式可以规避约定PUE的节能问题，毕竟有时候，糊涂账不是一件坏事。

• 以测量的IT能耗kWh，以及总的IT能耗kWh（UPS总输出能耗），得出租户IT能耗比例，用这个比例去乘以Colo公司当月的总电费单。这种是最激进租电分离计费模式，也就是电费一分钱也不挣钱。

即使最激进的电费计算模式，有时候未必是最省钱。例如采用第三种计费模式，老旧的IDC，其PUE就可能有2.0，导致整体电费成本高。就算Colo公司不想通过电费赚取利润，也不代表每机架的总成本（电费+租金）一定便宜。最后，企业从财务支出角度选择这个IDC，必然是看总成本。到底用包电包租还是租电分离的计费方式，既要考验Colo的技术运营水平，也要考验客户的自身需求清晰程度，最终体现在财务支出和收益计算上。例如，笔者就没见过国内有哪个colo机房，可以在多散户和租户的情况下，利用电能仪表测量，以及能源管理软件对多租户进行独立计费，有准确的报表对租户进行收费，还能分析发现是否用户有瞬间用超负荷用电情况。国内绝大部分Colo，管理软件能力和硬件设计都无法有效协同达成这个功能。对PUE的考核，软件功能往往没有成为国内Colo公司的关键竞争力之一，既然水平不足，那只好算一笔糊涂账，以包电包租形式计费，博弈的心态寄望于租户不用那么多电，成本可以弥补。对于租户而言，如果对功耗水平清楚，就可以对比哪个计费模型成本更节省。

在租电分离计费方式的盈利手段上，由于需要精确核算租户成本，国外Colo除了投入能耗监测的硬件和管理软件，还通过节能手段尽量降低PUE以提高竞争力和利润率。欧美很多国家在电力市场上是开放市场，即发电价和上网价分离，Colo公司还可以对发电厂进行招标采购，这个有点类似于网络互联互通。但国内电力市场价格发电和售电开放还处于试探性初步阶段，国内电力市场价格并非公开透明，有特殊关系和背景的公司就通过各种渠道获取更低的电价基准以取得成本优势。这个矛盾导致很多国内公司宁愿投入精力获取低电价基准，而不愿意投入精力改善能耗和运营。例如10000kWh的IT耗电，平均PUE是1.6，电费基准0.5元/kWh；而另外一个是PUE=1.4，电费基准是0.6元/kWh；结果是

机房A电费	10000*1.6*0.5=8000元
机房B电费	10000*1.4*0.6=8400元

不要小看这5%的电费成本差距，省下来就是利润提高2~3%，同时从1.6的PUE节省到1.4是很大的进步，需要技术团队付出巨大努力，但这些努力，在财务上的结果比较，还不如降低电费基准值来得省时省力。

根据笔者观察，国外追求极致PUE的Colo公司并不多，大多数公司由于SLA的压力，追求相对节能而非极致节能。理解这个相对节能和绝对节能概念，可以从成本模型上面分析。例如年平均PUE=1.4是相对节能，PUE=1.3是极致水平，这里相差电费差异是7%。如果初期用电规模大的IDC，在外国可以进行招标，承诺一个较大的供电量（如10MVA用电量），从而获得比市场基准值更低的电费，通常可以有10~20%降低。这样一来，相比应用节能技术，通过规模和电力市场政策更容易获得财务收益。同时很重要一点，节能技术往往初期投资成本较高，如果无法快速转变为租金下降就难以形成竞争力，还不如采取相对节能，快速积累用户群，然后降低基础电价的策略。所以，Colo公司在节能技术应用上没有大家看到互联网公司等激进，不能只从技术分析，也要从市场和商业上考虑。

  4

Colo租赁托管IDC服务协议

Colo租赁托管IDC的服务协议一般称为SLA（service level agreement），在SLA里面，会详细界定各种服务细则要求，对应承诺，违约罚款。

以下为一般SLA表格内容

类别	具体承诺定义	违约罚款条约
电力可靠性
环境可靠性
网络互联互通可靠性
相关服务项响应
其他附加条款

下图为Equinix的全球标准SLA，以及Internap公司官网上的SLA标准文档摘录

图3  Equinix的Global SLA规定

图4  Internap的SLA和罚则

SLA条款里面，每个类别都可以有不同约定条件：

• 电力可靠性，有的Colo公司承诺5个9，有些承诺100%，有些承诺三个9（对应Tier3的标准）。有些IDC是按照Tier3设计，甚至获得Tier3的认证，但Tier3的标准里面可用性理论值是99.982%，所以其SLA也约定3个9。当有用户说一定要4个9时，这些Colo公司通常会要求增加租赁成本升级到Tier4机房等，这总有讨价还价的地方。例如Equinix，其全球标准的SLA，就是可以提供5个9的电力，哪怕只有一路市电，因为Equinix已经做到全球的运营统一标准，设计各方面标准化，优异的IDC水平塑造了品牌，其承诺的可用性可以令人信服。

• 环境可靠性，会规定冷通道的温度范围，通常为4个9的可用性。例如正常运行22℃±2℃，市电断电时候温度不超过30℃等。

• 互联互通，主要是多个运营商接入的网络可用性。

• 服务响应，包含每个月/报告，故障修复时间，远程响应时间等。国外绝大部分的Colo公司，都会每个月提供报告，报告内容详细给出机架能耗，冷通道温度曲线。如果有需要，还可以提供详细的功耗，温度数据。

SLA可以很大程度反映IDC的技术水平。例如服务响应的月度报告，这在国内几乎难以看到。主要原因有，国内IDC软件的报表，管理分析功能做得太差，国外都基本使用BMS楼宇自动化软件，也有EMS能源管理平台。国内动环软件多半靠着哗众取巧功能，夸张的市场营销手段，对国外DCIM软件照猫画虎功能宣传，连监测报表功能都未能做好（所谓报表更多是Excel数据表，然后需要人手二次做大量数据筛选，分析），更别说控制了。做专业应用类软件不像硬件，容易横向比较参数和从其他用户了解使用情况。同时国内设计院、使用方对软件重视程度很差。笔者曾经做过一些调查，发现设计院里面负载弱电监控的技术人员，基本没有使用/操作过任何市面上的软件。可想而知，软件是一个多么混乱的市场。

有趣的是，国内运营商往往会以运营数据不对外公开为由不提供。其实国外绝大多数Colo公司观点都认为，只要是租户自身相关的合理数据，都可以提供，不公开其他合租用户数据即可。本身在租电分离的计费模型里，就需要公开租户机架功耗值进行计费。如果这个租户用电容量独占整套UPS，即整套UPS的输出只供给1个租户，那么Colo公司还会提供UPS的运行参数。一些优秀的Colo公司还有一套对内对外的运营管理平台。用户可以通过网页创建需要远程服务（remote hand）工单，这类工单包括IT设备和网络设备一般维护和操作。在服务平台上，用户通过工单编号随时跟踪工单处理状态。用户还能够查看自身租赁机架的功耗和温度等运营参数（月/日平均值，最大/最小瞬时值），安防门禁访问记录，视频记录，自助式导出相应运营报告。进一步，服务平台能够把IDC基础设施运营期间的变更，流程工单和用户透明，包括UPS，空调，冷机，发电机，配电柜日常运维。当然，这些服务都有差异化定价和收费。关于服务和自动化运营管理，是一个很大的内容，这部分和本文模块化技术关联度不大，在此不深入讨论。笔者也提出一个观点，这类运营平台无论叫什么名字，主要解决运营信息对称（对内对外），流程质量管理。这些都依赖于运营和服务模式，国内这两点恰恰是并不重视且发展落后，软实力重视度不够，能力上不去，软件平台也就难以发挥作用。简单一个例子，发达国家制造业自动化水平，机械和自动化软件水平和发展中国家相比差异巨大，工业4.0是需要强大工业基础发展起来。

  5

Colo租赁托管IDC的产品服务方案

本章节笔者会用DRT公司作为典型案例，讲解Colo公司典型产品服务方案。DRT官方介绍可以参考下面视频链接：

http://v.youku.com/v_show/id_XMTM5OTMyODY3Mg==.html?from=y1.7-2

DRT公司提供目前提供几种产品服务方式，包括：

• TKF模式，Turnkey Flex；这种模式相当于精装房的交钥匙模式，租户可以直接拎包入住，里面家电齐全。这是绝大多数Colo公司方案，即所谓White space的Datahall，机房包间已经安装好配电和空调容量，用户只需要把设备运进来上电就可以用。所以，我们经常看到国外Colo机房是下图的情况。

图5  DRT北美Data hall

读者或许会奇怪为什么国外Colo数据中心很多都不做通道密闭，也没有机架。实际上，对于TKF模式下，Colo公司面对的各色各样的客户，不是每个客户都是采用标准尺寸设备，有些客户是想把自己原来机房的机架和设备搬迁进来，有些客户有IBM的小型机，EMC的存储，思科的核心交换机等。可以设想，如果一个机房里面有IBM、EMC、Cisco、HP、Dell、Oracle、APC、Rittal、CPI各种机架摆一起，尺寸和结构不一，做通道密闭又谈何容易呢？何况有些客户的租期有1年或3年，租期满了设备搬走有新租户的新设备进场，新设备尺寸如何又是另外一个问题。国内Colo多数做通道密闭，主要原因在于，有钱买IBM小型机、EMC高端存储等客户，对数据中心基础设施成本不太敏感，面对国内Colo公司IDC整体情况，基本都会选择自建而不租用。实际上，通道密闭对国外Colo公司来说都不是标配。如果租赁用户有要求，Colo公司都愿意共同商讨提供，只不过租户需要付一次性投资费。因为这种特殊需求不是其他租户都必须，额外付费也理所当然。一些特殊要求包括机架内部选择带端口监控的机架PDU，增加金属隔笼Cage，机架带独立刷卡门禁，顶部增加摄像头、环境传感器等。

• PBB模式，Power based building/Powered shell。这种模式相当于住宅毛坯房，房子一般有进户的总电气箱和主开关，但里面家电、家具、装修都没有。PBB模式通常是Colo公司租下/拥有物业权，和容量规模大的客户签订较长的租赁托管合同。机电设施可以由租户自行设计和建设，也可以由租户出设计理念，剩下设计和建设，投资交由Colo公司。国内这种模式对于互联网巨头来说，是比较普遍。这个模式最大好处是，用户可以较大程度定制租赁，主要局限有3点，第一：定制情况下，当租户退租后，原来基础设施投资改造成被其他租户广泛接受的标准；第二：当租赁空间仅有一层楼而非整栋楼时，一些大型基础设施通常是共享。例如不同层的租户会共用冷冻站，中压发电机组等，如果想独立自己一套基础设施进行单独计费核算就变得非常困难；第三，建筑物理结构固定，这样很难采取更深度定制，例如一些需要建筑结构匹配的制冷方案。下图是PBB模式和TKF模式的差异

图6  TKF和PBB模式

• BTS模式， Build to suit/Buy to suit。这种模式和PBB模式相比，BTS模式最大优势在于整个建筑都可以定制，可以说是从空地开始就定制，甚至Colo可以和租户参与选址，然后Colo买地进行投资建设，最后租给客户。例如DRT在英国伦敦给Rackspace建设的数据中心，就是使用BTS模式。这种模式在国内也有一些案例，结合国内资本市场特点，甚至还发展出其他衍生商业模式和盈利手段。

• 网络和云服务互联，国外（特别是欧美等发达地区）和国内有一个显著不同，就是有运营商中立，不仅仅有传统电信运营商，还有其他宽带业务提供方如裸光纤。简单来说，在中国，Colo机房并非运营商中立，就如家里的宽带，不能用着A运营商的网络，第二天就想转到B运营商付费而不做任何硬件改造。目前DRT和Equinix这些全球顶尖Colo公司，互相比拼不再是谁家的机电设计如何优秀，管理运营水平突出，从机电建设和运营角度来说，各有千秋。IDC机电设计差异化的所能获取的竞争力已经不再成为独特优势，更关键的资源聚焦在网络提供商接入，云计算互联平台（Colo租户可以随时接入公有云组建混合云）。大家不妨登陆Equinix主页，可以看到从最早建立自身优势的IX(internet exchange互联互通)，到Cloud Exchange，让租户可以同时接入不同公有云，还可以建立混合云等方案，极大提升用户粘性和丰富IaaS层的解决方案。这些Colo公司利用自身租户大基数的优势，吸引大批网络供应商接入其数据中心。互联互通的平台，机电基础设施，再生能源，自动化运营和租户服务平台等形成Colo公司综合竞争力。顶尖Colo公司正如奔驰，宝马这些豪华车，今天关注重心更多是车联网和自动驾驶，纯粹比拼硬件层面已经难以形成更大竞争优势。对Colo而言，毕竟设计方案和设备技术都可以花钱购买。

笔者认为，国内数据中心，抛开互联互通的问题，投资承建合作的方式和国外差距并不大，特别国内互联网巨头有好些PBB模式，BTS模式也有少量案例。但是从整体设计，建设，运营链条看，国内外就有很大差距了。这些差距主要体现在设计上的细节，运营自动化软件，建设选用设备质量，施工细节，施工管理，运营流程优化等。