发布日期：2024-10-30 20:22 点击次数：151
01 配景概述巨乳 露出
历时18个月，跳跃长三角多个地区，搬迁数万台业绩器和交换机开采……B站数据中心圆满完成搬迁方法，新机房领有更先进的基础设施和更全面的手艺支执，将进一步优化表层业务布局，支执业务举座的异域多活，有用升迁资源垄断率和运营巩固性，为雄壮B站用户带来更好的拜谒业绩体验。
为什么要搬迁机房呢？跟着近些年来B站业务马上发展，关于基础设施的巩固性和可执续性要求也束缚提高，而早期启用的机房相对老旧且分散，数据中神思柜照旧饱和、可彭胀性差且老本较高。同期为了支执业务多活开采、在离线业务混部和裁减老本，对机房搬迁的需求更是日积月累。咱们经过详细磋议并量度B站的各式身分，包括但不限于手艺要求、业绩质地以及老本效益等方面。最终，咱们遴荐高频率、转动搬迁的方法来进行机房搬迁方法，一方面简略温顺咱们对搬迁过程的要求，另一方面也同期保证了 B 站业务巩固运行。
数据中心搬迁是手艺智商和组织治明智商的有机整合，本文主要从基础设施的角度登程，尽可能深入浅出地向大众阐发数据中心搬迁的举座配景，先容搬迁的前期贪图和准备，分析搬迁中濒临的问题和挑战，盘货搬迁后的举座收益，临了还分享了咱们关于机房搬迁的想考和追思。但愿能通过咱们的手艺决策和执行教学，带给大众一些匡助和启发。
02 机房搬迁“牵一发而动全身”
这次波及搬迁的四个机房支执B站险些一说念在线和离线业务应用，是B站建站以来最复杂、最大领域的数据中心及业务移动。在长达18个月的高频率转动搬迁中，需要应答搬迁领域大、方法周期长、治愈场景复杂、融合方面多、履行难度大等各式挑战。
1.方法管理难：方法波及团队涵盖系统部、资源运营、基础架构、采购、各业务部门、机房代维、搬迁供应商等诸多参与方，举座融合难度大，作念好统筹管理是高效奏凯完成机房搬迁的漏洞。例如来说，从外部融合的视角来看，开采相差会波及报关等历程事项，那就需要提前融合机房授权、报关、搬迁物流车辆及东说念主员，时刻关神思房下架和物流情况，从而确保开采准确、快速到达方针地。而从里面融合的视角来看，搬迁波及B站悉数业务部门，需要融合好业务下线停机和上线窗口，编排业务开采搬迁批次，搬迁后实时有用拜托业务，保障搬迁时期业务的一语气性和巩固性。
2.搬迁后果要求高：为了胁制老本，减少为搬迁准备的冗余资源支出，最终接管了每周转动的搬迁模式，平均每周搬迁开采越过500台，单批次最多1700余台。这就需要提前贪图好完备的手艺决策，从而确保每周搬迁开采简略巩固、高效地拜托给业务，才调保障每周搬迁班车时常运转。
开采领域：搬迁开采类型多、数目多，包括机架业绩器、刀片业绩器、柜顶交换机、中枢交换机、交易存储集群等。
历史债务：业绩器品牌广大、代次各不相通、运维治明智商芜杂不王人，同期存在大都过保开采；旧数据中心基础收罗架构不一、收罗环境复杂。
拜托后果：拜托时限短、操作复杂度高，物理开采搬迁到位后要求3天内拜托业务。原机房搬出阻力较大，机房封网、相差历程等政策时时变化等。此外，需要保证搬迁开采低故障率，严格按照搬迁各漏洞SOP履行，收尾搬迁开采故障率低于0.1%
搬迁历程：业务多且复杂、下线停机难，需找到悉数业务负责东说念主阐发运行的应用，安排业务移动、考据并停机；由于业务移动下线不安妥预期导致非策划变更搬迁决策频率高。
基础设施：新数据中心接管了更新、更优的收罗架构，这自己就对业绩器的上架贪图忽视了更高的要求，与此同期也需要保证新数据中心基础设施详细垄断率，这进一步提高了业绩器开采上架贪图难度。
3.业务移动复杂：本次搬迁波及业务险些袒护B站的全业务场景，且业务之间时常存在严格的依赖联系，因此在开启搬迁方法之前，要深入调研各样业务的移动需求，从而提前准备好搬迁决策以及各样问题济急预案，诸如数据中心间专线带宽、延长和高可用的圭臬等要求。
离线场景：数据量大、大带宽专线要求、冗余资源需求高。
在线场景：延长明锐、依赖跨AZ治愈决策、巩固性要求高。
03 举座搬迁决策
机房搬迁是一项复杂的系统性工程，需要提前指定选藏的贪图和履行决策，从而确保业务一语气性和数据安全。因此，在搬迁实施之前，齐全的方法履行决策必须就位，决策包括方法评估、举座策划、前置准备、机房搬迁批次贪图、业务移动贪图、济急预案等。
1.方法评估
方法启动前需要对方法的可行性、后果和影响进行详细性分析，确保搬迁方法简略按照预定方针和圭臬奏凯鼓吹，并对方法的潜在风险和收益进行评价。方法评估主要包含以下实质：
1.梳理近况：对B站现存的悉数机房，蚁集业务分散、手艺架构、多活贪图等进行梳理。
B站的机房按照业务类型分为在线和离线机房。
跟着B站业务束缚增长，老机房容量不及且收罗拘谨比低于1:1，温顺不了业务日益增长的资源和收罗带宽需求，极端是AI接洽应用。同期，老的机房在运维中曾暴深化质地问题，出现过漏水、掉电、锡须等质地问题，影响了业务的巩固运行。
多机房给业务升迁了容量管理的复杂度，机房容量胁制让部分时延明锐的业务机器部署难度增多，也导致机房之间互联的传输阐明、收罗开采等老本增多。按照业务的定位，机房在离线窒碍，业绩器资源垄断率低，在离线混部领域受限于机房间的收罗传输带宽。
2.老分内析：详细磋议机房的IDC老本、商务条件以及B站翌日3年的业绩器增长后，老分内析给出了极度乐不雅的论断：搬迁机房不错带来显赫的老本收益，况且在搬迁完成后的次月即可对收益开首回收。
早期机房，因机器领域小，机房容量小，彭胀性差，价钱高。
新机房不仅有更大的容量温顺B站业务的增长，且通过先进的节能开采和高效的运维管理，达到更优秀的PUE（电源使用后果）水平，从简电力老本。
新机房定位为在离线混部机房，收罗拘谨比能达到1:1，温顺了业务带宽的需求，能支执大领域的在离线混部，为升迁业绩器资源垄断率打下基础。
磋议到业绩器搬迁，但不可影响B站业务，搬迁过程中，业务需要富饶的冗余业绩器来进行业务移动。搬迁的冗余业绩器在搬迁方法收尾后可复用于业务增长，老本可控。还需要磋议搬迁过程中业绩器故障带来的损耗。
搬迁过程中有大都的数据传输和数据备份需求，需要先扩容机房之间的传输带宽，并作念好收罗QoS保障，幸免因为搬迁数据传输，影响时常运行的业务。传输阐明如故复用底本的阐明，增多传输带宽仅需要增多一丝的收罗和传输开采，老本可控。
前边提到，搬迁职责是多个团队的通力联接，波及到许多的东说念主力老本，升迁搬迁后果能减少东说念主力老本。搬迁前，在线离线业务都准备了各式器用，例如数据移动器用，数据校验器用，任务移动器用等，升迁搬迁后果。
多个机房需要搬迁，搬迁规定怎么细则定呢？把柄老本核算，咱们最终不是从最贵的机房开首搬迁，而是从低廉的机房开首。原因是最贵的机房亦然年限最老的机房，收罗开采过保无法进行利旧。要是从最贵的机房开首搬迁，不仅需要准备大都的冗余收罗开采，且后续很永劫辰都难以将冗余开采复用，举座老本偏高。而较新的机房固然价钱相对愈加低廉，然则通过对这些机房的收罗开采复用利旧，极端是对收罗中枢开采的再垄断，在全局维度上简略带来更可不雅的老本收益。
3.风险评估：搬迁固然简略带来显赫收益，然则在搬迁过程中可能遭逢的各样风险更值得警惕。提前作念好风险评估是搬迁方法里至关遑急的一环。
商务风险：搬迁前需要和机房供应商相通好退租条件和搬迁排期，并在搬迁班车中贪图好时辰，幸免中间遇到机房封网影响举座搬迁进程。关于一些有保底的机房，还需要提前相通好保底等商务条件。
业务风险：业务搬迁过程中可能遇到容量不及，搬迁数据不安妥预期，业务搬迁回滚，业务下线进程脱期赶不上搬迁班车，应用无东说念主认领等各式风险，提前分析风险场景并作念好预案是应答风险的有用方法。
东说念主力风险：搬迁是以整包间为单元进行鼓吹，机房包间有商定的策划退租时辰，机房方可能照旧将包间售卖给下一位客户，是以包间退租时辰不可脱期。需要业务提前安排好移动东说念主力，同期在排期上需要磋议一定的时辰冗余。
2.举座策划
明确搬迁开采范围、搬迁时辰范围、搬迁规定、新机房的资源供给、组织融合，酿成举座策划。
3.前置准备
1.梳理出悉数需要搬迁开采的清单，包括业绩器、存储开采、收罗开采等。
2.搬迁供应商遴荐，遴荐一家专科机房搬家公司至关遑急，不错裁减业绩器、收罗中枢等难得开采在搬迁过程中产生赔本。搬迁公司的专科教学、手艺实力、团队教育、开采与器用、业绩保障、口碑与信誉等都需要介意覆按和磋议。
调研供应商天禀与业绩智商。
评估供应商开采物理搬迁决策。
小批量灰度搬迁测老练证供应商履行智商。
3.新机房布局瞎想
把柄悉数搬迁开采类型和举座的搬迁周期，对新机房基础设施进行科学的瞎想和贪图，确保温顺业务移动拜托需求同期优化方针机房基础设施资源垄断率。
基础设施开采：把柄搬迁开采特质和业务的要求，对机柜平面布局、单机柜功率密度、机柜的U位高度、机柜的PDU规格、大仓库等进行优化瞎想和开采，从而最大化垄断电力、空间、收罗端口等资源。
收罗环境开采：把柄原机房不同品牌、不同架构的收罗开采，作念好合理利旧使用，并作念好对应的贪图布线职责。
4.新老机房之间专线开采
开采新老机房之间专线，温顺离线业务的大带宽和在线业务的低延长需求，确保业务数据移动和业绩移动奏凯进行，升迁业务移动的后果和安全性。
5.准备冗余资源
冗余资源采购，业绩器和收罗轮转冗余资源采购。
按照搬迁业绩器属性，采购对应备件耗材，减少搬迁导致开采故障对业务的影响。
4.搬迁班车决策
转动搬迁模式：旨在裁减搬迁老本，通过减少对冗余资源的依赖并复用原机房资源来收尾。在冗余资源有限的情况下，需要精准胁制每次搬迁的数目，既要温顺业务移动需求，又要实时开释原机房交换机和业绩器资源来温顺下一批次搬迁班车的资源供给。
按照包间诀别搬迁周期，更好的开释出原收罗开采资源，用于下一个新包间的启动轮转。梳理业绩器、机柜分散情况，便捷举座退租。劝诱业务按照整机柜搬迁，幸免一丝机器分散占用机柜的情况，以尽量裁减老本。
搬迁班车贪图：把柄冗余资源和举座时辰要求细则搬迁批次数目和单批次搬迁领域，压缩每个搬迁周期（包含搬迁准备、业务下线、开采物流输送、开采上架拜托、业务上线）到2周。如下图所示：每周都有搬迁班车，2个搬迁班车之间部分漏洞可并行履行，有用升迁业务移动后果。
5.业务移动决策
业务跨机房移动决策包含制定移动策划、评估业务系统、新环境准备、移动应用和数据、测老练证和上线投产等门径，以确保业务一语气性和巩固性。新机房底本的定位是离线机房，搬迁方法细则后，新机房定位改为在离线混部机房。
1.在线业务：
在线应用：新机房和老机房贪图为团结个AZ，接管容器AZ内完毕漂移的方法，业务侧无需寥落操作，容器平台负责举座移动，这比跨AZ移动的决策愈加简便，平台也提供了特别情况下的回滚SOP。
在线数据：Mysql、TiDB、Redis等数据移动，平台提供圭臬的移动SOP，关于未通过proxy承接的业务，切换需要上游应用修改业务数据库建树。
流量切换：B站的收罗架构是表里网解耦，公网切换由业务在CDN侧进行切量，内网切换由SLB平台提供平滑移动决策。
2.离线业务：
离线数据：数据移动使用对应的自动化移动器用，要是出现因为磁盘故障或宕机等问题导致的数据Miss，需要东说念主工介入处理。数据移动过程中业务还在增长，需要胁制集群的举座存储容量水位线。
离线计算：计算移动也有对应的器用，移动过程中会和凹凸游进行相通，同步修改集群建树，移动过程中会产生跨机房读写。
6.方法管理
跨部门多团队的联接是搬迁方法奏凯的漏洞。有用的组织和融合机制简略确保各方信息一致，确保每一次搬迁批次的搬迁实施简略按照策划落实。
变装单干：采购、系统部和资源运营组是专东说念主负责，采购对外管理搬迁供应商，系统部负责具体搬迁履行、资源拜托开采，资源运营组负责方法管理统一双接波及移动业务方。
组织模式：接管矩阵式方法组织，方法团队成员同期从属于职能部门和方法团队。这么安排简略提高无邪性和资源分享，按班车模式组织对应相通群作念组织融合。
历程与节点胁制：波及并使用专项搬迁审批历程，每个搬迁漏洞在规定时辰内完成，任何漏洞的延误都会影响开采及业务的时常流转，作念好风险预估与应答策略。
7.济急预案
搬迁时期要作念好风险评估及相对应的济急预案，不错增强济急搬迁的举座后果，最大程度地减少突发事件导致搬迁无法进行、搬迁资源延长拜托等风险发生。
1.回滚决策：制定每个搬迁批次的回滚决策，实时反映协长入胁制风险。如业务下线不安妥预期导致开采无法下架，开采顺延到下批次搬迁班车，不影响举座搬迁班车履行。
2.搬迁时辰周期：每个搬迁周期胁制预留冗余批次，业务无法下线、疫情等身分会导致搬迁周期里面分批次无法时常搬迁，使用冗余批次完成该周期搬迁，从而不影响举座搬迁策划履行。
3.搬迁方法履行：漏洞节点追踪，提前评估风险、识别风险实时作念好应答方法。
冗余资源不及：当部分业务无法按策划搬迁，导致机柜无法按策划退租腾出收罗开采，短期借用业绩器备机池资源、收罗开采备机资源，等原机房资源腾出后退回资源。
开采故障：按开采数目和类型准备对应的备件备机，当开采发生故障后现场径直维修，遑急开采OEM厂商安排搬迁现场驻场支执，有用减少开采因故障宕机时辰。
物理搬迁风险：输送器用、输送阐明的济急备份决策。例如：旧机房电梯故障无法输送开采接管吊车搬迁出机房。
04 搬迁履行
在机房搬迁履行中，领先需要制定合理的开采上架贪图，通过自动化搬迁历程确保搬迁过程高效顺畅，同期进行物理搬迁时强化安全保障，藉由全面的搜检确保拜托的一致性，临了依靠详备的履行清单确保各项任务落实到位。
1.开采上架贪图
1.按照每个搬迁班车批次的开采清单及业务需求，阐发清单内开采的属性信息（尺寸、功耗、网卡规格及数目、电源规格及数目）和每个业务开采的上架分散需求。
2.贪图法令：开采尺寸和机柜机位规格适配、机柜内PDU各规格插排不超可用数目、特殊开采作念专项安排（交易存储等），合理贪图搬迁开采在新机房的上架位置。
温顺不同行务对开采的分散需求（麇集、分散等）。
单机柜不同U数/功耗业绩器混部，开采总功耗胁制在机柜额定电力功率的90%独揽。
保执收罗拘谨比1:1，最大化垄断交换机端口。
3.自动化上架贪图：把柄开采的类型、功耗、尺寸、收罗端口以及业务分散需求，蚁集机柜功率、收罗端口均分派法令进行排序和组合，按最大化机房详细垄断率的原则圭表自动化计算和贪图。
4.产出开采在新机房的上架表格（包间、机柜、U位、开采信息、系统IP、管理IP等）。
2.自动化搬迁历程
搬迁过程波及业务移动与开采关机，这自己就会带来巩固性风险，例如数据丢成仇依赖应用故障等。同期，业务又有着极高的拜托后果要求，那就需要尽可能收尾全历程自动化以升迁举座后果，减少东说念主为操作漏洞，从而裁减出错的概率。
业务下线漏洞增多业务关机静默时辰漏洞，支执因业务变化、业务下线特别等情况下的快速回滚。
预竖立，开采在原机房自动建树新机房的系统IP、管理IP，在新机房上架上电后无需建树。
历程自动修改主机景色，推辞误告警纷扰时常分娩环境
历程中默许系统重装，也为特殊情况提供系统保留遴荐。
按照新环境和业务需求自动系统启动化。
拜托基线校验漏洞保证拜托质地。
3.物理搬迁，安全保障
在业绩器物理搬迁过程中，需要极端重心磋议以下身分：搬迁策划与时辰贪图、东说念主员安排与融合、开采搬迁的准确性、胁制开采故障率。
1.物流准备职责
现场勘探：开采景色搜检，机房开采搬运道路提前作念好实地勘探，确保每个搬迁班车现场环境温顺搬运要求。
资源准备：包装材料核算和准备，输送车辆和东说念主员准备，不错有用裁减搬迁过程中的风险。
2.按照开采清单搬迁开采，下架、打包、搬运、上架
麻豆 夏雨荷专用标签：标签包含开采惟一象征信息、原机房和新机房位置信息、型号，有用提高搬迁履行的速率和准确性。
3.安全保障
使用专项保障方法来保护收罗中枢开采、交易存储等高价值的开采。
每批次搬迁完成后把柄搬迁过程纪录作念追思反馈。
4.拜托一致性保障
按业务需求统一启动化，并对业绩器BIOS与BMC建树、操作系统内各样业绩与建树以及业务定制化项进行搜检，保证拜托开采的一致性温顺业务需求，从而确保系统的巩固性。
5.履行清单
由于本次搬迁开采类型杂、开采总和量多、搬迁频率高、拜托要求严，把柄搬迁手艺决策，制定了一个选藏的履行清单不错匡助确保每个漏洞都能奏凯进行。在搬迁过程中，束缚完善并严格按照以下清单逐项搜检，将有用提高搬迁的后果和安全性。
05 追思与预测
在国度“双碳”政策方针指引下，B站新一代定制化数据中心以绿色节能为方针，将低碳经济、节能减排等理念引入新机房的开采，通过合理的布局瞎想、先进的节能开采和高效的运维管理，进一步裁减机房的举座PUE值，减少动力奢华和碳排放，全面升迁机房SLA。同期，跟着数据中心搬迁，减少IDC机房和机房间互联专线数目，有用裁减运营老本，收尾每年近一亿的机房老本收益。
新机房加大了在离线混部力度，全B站IDC业绩器CPU日均使用率从搬迁前的25%独揽升迁至搬迁后的35%以上。新机房接管了更优的收罗架构和更新的收罗开采，有劲升迁收罗传输后果和反映速率，通过优化收罗拓扑结构和安全方法，大大裁减收罗故障风险。通过批量替换故障硬件、更新问题固件、优化主机BMC/BIOS建树以及拘谨操作系统内核版块和整治系统环境，裁减硬件运维管理的复杂度，有用升迁了新机房的运行后果和巩固性。业务则在机房移动过程完成老旧业务梳理，下线无东说念主认领应用，算帐无谓数据表和文献，完成了对线上环境的一次齐全的梳理。
新机房负责进入使用后，B站数据中心的业务承载智商迈上全新的台阶，将为B站的快速发展奠定坚实的基础，提供更好的基础设施保障和支执。面向翌日，B站将不息加强基础设施的开采和进入，束缚升迁平台的性能和巩固性巨乳 露出，为雄壮用户提供愈加优质的业绩。
