Disaster Recovery и cold-backups

Live ռեզյումե

DR-ն մեծ վթարից հետո բիզնեսի գործառույթները վերականգնելու ունակությունն է։ Cold-backups-ը «պաշտպանության վերջին գիծ» է 'անփոփոխ/մեկուսացված պատճեններ, որոնք հարմար են վերականգնելու համար, երբ տարածքը ամբողջովին անջատվում է կամ փոխզիջում։ Ռազմավարությունը կառուցվում է RTO/RPO-ի շուրջ, համակարգերի գերակայությունը, DR-ուսմունքները և խիստ վիրահատական կարգապահությունը (կոդեր, բանալիներ, ստուգումներ)։

Տերմիններ և նպատակներ

RPO (Recovery Point Objective) - տվյալների առավելագույն թույլատրելի կորուստ (օրինակ ՝ 15 րոպե)։

RTO (Recovery Time Objective) - վերականգնման առավելագույն թույլատրելի ժամանակը (օրինակ ՝ 242 ժամ)։

Systart-ը «զրոյից» վերականգնումն է 'երկաթ/կլաստեր/գաղտնիքներ/տվյալներ/ԹԱՍ։

Air-gap-ը պատճենների ֆիզիկական/տրամաբանական մեկուսացում է (ժապավեն/անջատված հաշիվ/օֆլայնային մեքենա)։

Immutability (WORM) - անփոփոխ պահեստավորում (ժապավեն/օբյեկտ Nok/Retention)։

DR պատրաստվածության մակարդակները

Cold Site-ենթակառուցվածքը բացակայում է/սառեցված; RTO: ժամացույց-օրեր; ամենաէժան CAPEX/OPEX-ը։

Warm Site-ը ձևանմուշներ/պատկերներ/մասամբ պատրաստ ծառայություններ է։ RTO: Տասնյակ րոպե ժամացույց։

Hot Site-ը ակտիվ կրկնօրինակներ են։ RTO: րոպե; ավելի թանկ և բարդ։

Հիբրիդ 'միջուկը' hot/warm, մնացած զանգվածը (գերակայությամբ գործարկելիս)։

Որտեղ cold-backups անփոխարինելի են

Զանգվածային գաղտնագրումը/տիրույթի փոխզիջումը։

Տվյալների կոռուպցիան, որը հեռացավ բոլոր դիտողություններին։

Տարածաշրջանի կորուստ/ՑՈԴԱ, ֆորս մաժոր (հրդեհը, ջրհեղեղը)։

Դիտավորյալ հեռացում/սաբոտաժ արտոնյալ բացթողումներից։

Cold-backups Digology cold-backup

1. Մեդիա/պահեստային դասարաններ

Ժապավենները (LTO-8/9) 'էժան, air-gap լռելյայն, բարձր հզորություն, հաջորդական հասանելիություն։

International-սկավառակները/NAS: «սեյֆ-քեյսները» միացված են միայն bekap/restore պատուհանի վրա։

Օբյեկտի արխիվային դասարանները (Glacier-նման) 'պահեստավորման ցածր գինը, ավելի բարձր արդյունահանման ժամանակը։

2. Տեղադրում

Մեկ այլ տարածք/տարածք; մեկ այլ պրովայդեր/հաշիվ; առանձին բանալիներ/ադմինիստրատորներ։

3. Իմպուտաբելություն

WORM/Obplect Prok (Compliance/Governations) ժապավեններով ռենտենով և Legal Hold-ով։

Քաղաքականությունը 3-2-1-1-0 (կենտրոնանալով կոլդի վրա)

Տվյալների 3 օրինակ (prod + տեղական պահեստային + օֆսայթ)։

Երկու տարբեր կրիչներ (սկավառակ/ժապավեն/օբյեկտ)։

1 օֆսայթ (մեկ այլ տարածք/ամպեր)։

1 անփոփոխ (WORM/air-gap)։

0 ստուգում (www.ksum/պարբերական թեստային վերականգնում)։

Express, մետատվյալներ և ամբողջականության վերահսկում

Բեքապների կատալոգը 'որ, երբ, տարբերակը, բանալիները, չեկը, գումարը, ռենտենշը։

Ակտիվների կատալոգը 'ծառայություն, որը կախված է թղթի/բաքերի լուծույթից, առաջնային է։

Noksums-ը և manifest-ֆայլերը 'ձայնագրման և վերականգնման վրա։

Canary-ֆայլերը 'հիբրիդային հետազոտություն փոխադրողների խնդիրների վաղ մանկատան համար։

Կոդավորումը և բանալիները

Կոդավորումը հանգույցի մեջ (ժապավեն/օբյեկտ) և թռիչքում (պատճենումը)։

KFC/Vance-ից dronl, օֆլեյն-սեյֆերը վարպետության մրցույթի համար, ռոտացիա։

Prod/baps/արխիվների համար առանձին բանալիներ (blast-շառավղի նվազեցում)։

DR-ի (պահանջներ, դերեր, ամսագիր)։

DR պլանը 'գերակայություն և հաջորդականություն

Առաջնահերթությունների քարտեզը (օրինակ)

1. Նույնականացումը և հասանելիությունը ՝ IdP (նվազագույն գոտի), Vox/KFC, ցանցային միջուկը։

2. Տվյալները և կառավարող ինքնաթիռները 'etcd K8s, դելիգներ, sexrets, պատկերների օրինակներ, deploov արտեֆակտներ։

3. Գործարքային BD/դրամապանակներ 'ամսագրեր + վերջին fox/incremental։

4. Հիբրիդային/ինտեգրացիոն դռներ 'բանալիներ, հավաստագրեր, IP/IV։

5. Վեբ/api-fronts: Կանարական գործարկում, օբյեկտից ստատիկ բովանդակություն։

6. Վերլուծություն/հաշվետվություն 'միջուկի վերջում։

Վերականգնման հաջորդականությունը (71-start)

1. Ենթակառուցվածքը 'ցանցը, RF/Anycript, IAM միջուկը, հիմնական պատկերները/կլաստերը։

2. Գաղտնիքները/հավաստագրերը 'վերականգնել Vox/KFC cold-backup-ից, բաժանել bootstrap-գաղտնիքները։

3. Վերահսկիչ ինքնաթիռը 'etcd/Winl Plane/ռեգիստրներ/։

4. Տվյալները 'տեղադրել BD cold-backup + PITR ամսագրերից (RPO)։

5. Ծրագրերը 'ծառի կախվածության գործարկումը, տաքացնելով քեշը/CDN։

6. Թեստեր և վալիդացիա 'health-թեստեր, կոնսիստենտություն, վերահսկողական գումարներ։

7. Փոխանցման փոխակերպումը 'RF/միկրոօրգանիզացիա/հավասարակշռիչներ (ստացիոնար/կանարեկո)։

8. Փոստի ստուգումներ 'արտահոսքի/պարտքերի բացակայություն, տրամաբանություն և DR ակտ։

Cold-restore (տիպիկ)

Ժապավենները ՝ ֆոսֆարը, բեռնումը, զուգահեռ սթրիմները, ֆայլերի map-ը և վերականգնման համար նախատեսված պարամետրերը։ Որոնման և փոխպատվաստման ժամանակ։

Արխիվ դասարաններ 'ներողություն խնդրելը (minutes enthours), տաք պահեստում staging, մանիֆեստի վերականգնումը։

System-սկավառակներ 'read-only միացում, codksum կոդավորման ստուգումներ։

Պրակտիկա 'մեկուսացված «ավազը» վերականգնելու համար, ապա տեղափոխումը պրո-չորեքշաբթի։

Հաղորդակցություն և պաշտպանություն։ կառուցվածքը DR-ում

Роли: Incident Commander, Tech Lead (Infra), DB Lead, App Lead, Comms, Security.

Ալիքները ՝ պահեստային (անկախ տիրույթից), ձայնը/չատը, Secom Docs-ը։

Հաղորդագրությունների ձևանմուշները 'հաճախորդներ/105/կարգավորիչներ; apdeit հաճախականությունը; «ճշմարտության միակ աղբյուրը»։

Իրադարձությունների միասնական ամսագիր 'թայմլին, լուծումներ, սեփականատերեր։

RF, ցանցեր և հյուրանոցներ

Split-brain-պաշտպանություն 'DR-ռեժիմի դրոշները կազմաձևում; feature-flags-ը սահմանափակ ֆունկցիոնալության համար։

RF ռազմավարություն 'ցածր TTL նախօրոք, RF անկախ պրովայդեր; A/AAAA/CNAME-ի հիբրիդային փոփոխությունը, տաքացնելով CDN-ը։

Միկրոակտիզացիա ՝ Anycript/Geo, BGP-անոնսը DR կայքից; ACL/fierrwall փոխպատվաստվում են IaC-ից։

SLO DR համար

RPO-ն համապատասխանում է ժամանակի 3699 տոկոսին (ամսագրերի/գրանցումների լագը նպատակի սահմաններում)։

RTO 71-start (ամբողջական սցենարը) 2019 (օրինակ, 4 ժամ) թեստերի վրա եռամսյակային անգամ։

DR-ուսմունքների հաջողությունը 100 տոկոսն է կրիտիկական առաջադրանքների։

Իմպուտաբելությունը Բեքապների մասն է Retention/Systek = 100 տոկոսից։

Ամբողջականության ստուգումը 100 տոկոսն է գրաֆիկով։ կրիչի մերժումը անջատման համար։

Թեստեր և ուսուցումներ

Table-top: սցենարներ, դերեր, չեկի թերթիկներ, կոնտակտային թերթ։

Տեխնիկական 'BD/ֆայլերի/գաղտնիքների ընտրության վերականգնումը «ավազի» մեջ, որը ստուգում է համապատասխան գումարները և կոնսիստենտալությունը։

Mastart-medill: մեկ/քառորդ (կամ վեց ամիս) - DR կայքում միջուկի ամբողջական արձակումը։

POST-mortem: փաստերը, նեղ տեղերը, բարելավման պլանը (SLO/գործընթացներ/ավտոմատիզացիա)։

Ավտոմատիզացիա և արտեֆակտներ

IaC 'կլաստերներ, ցանցեր, ապակիներ' կոդում։ DR ճյուղեր/պարամետրեր։

Runbooks: podonent (Vox/KMS, etcd, BD, դարպասներ, ճակատներ)։

DR փաթեթը 'հիմնական դոկտորների օֆլինի պատճենը (կոնտակտներ, սխեմաներ, սեյֆ-ֆրազ գաղտնաբառեր), ֆիզիկական դոտացիայի հրահանգներ։

Canary-restore: Ամենօրյա փոքրիկ հետազոտություն և www.ksum։

Թեգի/07: «DR-critical», «Warm-only», «Cold-only» ծառայությունների համար։

Ներդրման թուղթ

• Տվյալների դասարանները և դրանց RPO/RTO-ը համաձայնեցված են բիզնեսի հետ։ վերականգնման առաջնահերթությունները որոշվում են։
• Իրականացվել են cold-backups 'կրողներ, իմուտաբելություն (WORM/Object Prok), օֆսայթ/air-gap։
• Aleksandi 'ակտիվներ, bakas, 2019; չեկի գումարներ և տարբերակների վերահսկում։
• Systart-start: Ցանցեր/CSA, IDP/Vox/KTS, վերահսկողական ինքնաթիռը, տվյալները, app շերտը։
• Ուսմունքներ ՝ table-top evekvart; Կանարյան հետազոտություններ ամեն օր. 2019-start անգամ/քառորդ-վեց ամիս։
• Հաղորդակցություն և կարգավորող ձևանմուշներ; առանձին կապի ալիքներ։
• SLO/metrics/alerts DR-ի համար; առաջնորդության հաշվետվությունները։
• պրովայդերների հետ (ժապավեններ/արխիվային դասարաններ/CSN/CDN), SLA-ն ապացուցված է։
• Ֆինանսներ ՝ փոխադրողների/արխիվների բյուջե, լոգիստիկա, փոխադրողների փոխարինումը ժամկետներով։

Տիպիկ սխալներ

«Կա մի ակնարկ, որ բեքապը կարիք չունի» տրամաբանական սխալի/ծածկագրողի հեռանալու ամենուր։

Ոչ մի իմութաբելություն/air-gap-ը բոլոր օրինակների փոխզիջման մեկ վեկտոր է։

Օրինագծերի/չեկի գումարների բացակայությունը վերականգնեց «ինչ-որ բան», բայց ոչ։

TTL III-ը չափազանց մեծ է, շատ բազմօրյա միգրացիա է։

Բանալիները/KFC-ն նույն պրոֆիլում/հաշիվում բացատրվում է դեպքի ժամանակ մուտքի արգելափակումը։

Միայն «թղթի վրա» ուսուցումները www.RTO/RPO չեն ապացուցվում։

Հատուկ iGaming/fintech համար

Դրամապանակ/հիբրիդային միջուկը 'խիստ RPO (351-5 րոպե) և RTO (3515-60 րոպե); ամսագրեր WORM-ի հետ։ DR գործառույթը «read-only հավասարակշռություն» թափանցիկ հաղորդակցության համար։

PMS/բովանդակության պրովայդերներ 'նախկինում DR-IP/տիրույթ, whitelis.ru, հավաստագրեր, HMAC/mTRK բանալիներ - DR փաթեթում պատճեններ։

Հաշվետվություններ/կարգավորիչներ 'ծանուցման ձևանմուշներ, անփոփոխ արխիվներ, ապացուցված ամբողջականություն, գործողությունների ամսագիր։

Պիկի և լիվենտներ. DR պատրաստակամությունը ստուգվում է մինչև մեծ մրցույթներ/գործողություններ։ Կանարյան հետազոտություններ և տաքացնել CDN-ն։

Mini-runbook ձևանմուշներ

1) Vox/KFC 71-start (հայեցակարգ)

1. DR-2019-ի նախաձեռնումը, www.unseal-ի բեռնումը (d.ru-35l)։

2. Storage-bakap (cold-copy) վերականգնումը։

3. Ստուգումը քաղաքական է, bootstrap-գաղտնիքները CI/CD/K8s-ի համար։

1. Տեղադրել դատարկ ինստան, վերականգնել fox cold-ից։

2. Տեղադրել WAL ամսագրերը (rements) մինչև վերջնական պահը։

3. Կոնսիստենցիայի ստուգումը, միացնել կրկնօրինակումը, բացել read-only, ապա read-write։

3) CSKA/2019

1. Նվազեցնել TTL-ը 24-72 ժամվա ընթացքում պլանային ռիսկերին (կամ պահել ցածր անընդհատ)։

2. A/AAAA/CNAME-ի անցումը չեկի թերթիկի վրա, որը պարունակում է սխալներ/լատենտ։

3. Մրցույթի աստիճանական աճը (կանարեյկա 5 տոկոսը 3825 տոկոսն է, 100 տոկոսը)։

Արդյունքը

Cold-backups հենակետով հուսալի DR-ն այն է, որ իմուտաբային մեկուսացված պատճեններն են, որոնք ձևավորված են ստանդարտ-start-ընթացակարգերով, պարզ RPO/RTO-ով, ՌՍՖՍՀ-ի կողմից մտածված ուսմունքները/ցանցային ռազմավարությունը և ինտեգրման կարգապահությունը։ Ամրագրեք ամեն ինչ IaC-ում և runbook-ah-ում, ավտոմատիզացրեք ամբողջականության ստուգումները և կանացի հետազոտությունները, և դուք միշտ կունենաք վերահսկվող ճանապարհ վերականգնել նույնիսկ ամենավատ սցենարից հետո։