Архитектура Рунета
Как знают наши читатели, Qrator.Radar неустанно исследует глобальную связность протокола BGP, равно как и региональную. Так как «Интернет» является сокращением от «interconnected networks» — «взаимосвязанных сетей», наилучшим способом обеспечения высоких качества и скорости его работы является богатая и разнообразная связность индивидуальных сетей, чье развитие мотивировано в первую очередь конкуренцией.
Однако, как мы уже неоднократно писали в наших исследованиях национальной устойчивости сегментов глобальной сети, некоторые пути становятся более важными по-сравнению с остальными (например, пути до Tier-1 транзитных провайдеров или AS, на которых размещены авторитативные DNS-серверы) — это значит, что наличие как можно большего числа альтернативных маршрутов в итоге является единственным жизнеспособным способом обеспечить надежность системы (в смысле AS). Отказоустойчивость интернет-соединения в любом отдельно взятом регионе или стране связана с количеством альтернативных маршрутов между автономными системами — AS.
Есть причины не сводить глаз с данного сегмента: согласно данным, которые предоставляет база данных регистратора RIPE, к РФ относится 6183 AS из 88664 зарегистрированных глобально, что составляет 6,87%. В этот раз, мы поближе посмотрим на устройство интернет-сегмента Российской Федерации.
Эффекты, которые возникают вследствие изменений российской связности, могут наблюдаться в других странах, зависимых от или примыкающих к данной связности и, наконец, на уровне почти любого интернет-провайдера.
Такой процент ставит Россию на второе место в мире по данному показателю, сразу после США (30,08% зарегистрированных AS) и перед Бразилией, владеющей 6,34% всех автономных систем.
Обзор
Распределение автономных систем между странами в IPv4 и IPv6, топ-20 стран
Диаграмма 1.
Данные префиксы, анонсируемые исключительно из RU-сегмента, покрывают 4,3*10^7 уникальных IP-адресов из 2,9*10^9 анонсируемых глобально — 1,51%, 11 место. В IPv4 интернет-провайдерами из Российской Федерации анонсируется 33933 из 774859 глобально видимых сетевых префиксов, что представляет 4,38% и ставит российский интернет-сегмент на пятое место такого рейтинга.
Распределение сетевых префиксов между странами в IPv4, топ-20 стран
Диаграмма 2.
Данные префиксы покрывают 1. В рамках IPv6 интернет-провайдерами из Российской Федерации анонсируется 1831 из 65532 глобально видимых префиксов, что представляет 2,79% и 7 место. 3*10^32 уникальных IPv6 адресов из 1,5*10^34 анонсируемых глобально — 0,84% и 18 место.
Распределение сетевых префиксов между странами в IPv6, топ-20 стран
Диаграмма 3.
Индивидуальный размер
Одним из многих способов оценить связность и надежность Интернета в отдельной стране является ранжирование автономных систем, относящихся к данному региону, по количеству анонсируемых префиксов. Данная методика, однако, уязвима к деагрегации маршрутов, что постепенно балансируется фильтрацией избыточно деагрегированных префиксов на оборудовании интернет-провайдеров, в первую очередь по причине постоянного и неизбежного роста таблиц маршрутизации, занимающих память.
Топ-20 IPv4
Топ-20 IPv6
ASN
AS Name
Количество префиксов
ASN
AS Name
Количество префиксов
12389
ROSTELECOM-AS
2279
31133
MF-MGSM-AS
56
8402
CORBINA-AS
1283
59504
vpsville-AS
51
24955
UBN-AS
1197
39811
MTSNET-FAR-EAST-AS
30
3216
SOVAM-AS
930
57378
ROSTOV-AS
26
35807
SkyNet-SPB-AS
521
12389
ROSTELECOM-AS
20
44050
PIN-AS
366
42385
RIPN-RU
20
197695
AS-REGRU
315
51604
EKAT-AS
19
12772
ENFORTA-AS
291
51819
YAR-AS
19
41704
OGS-AS
235
50543
SARATOV-AS
18
57129
RU-SERVERSGET-KRSK
225
52207
TULA-AS
18
31133
MF-MGSM-AS
216
206066
TELEDOM-AS
18
49505
SELECTEL
213
57026
CHEB-AS
18
12714
TI-AS
195
49037
MGL-AS
17
15774
TTK-RTL
193
41682
ERTH-TMN-AS
17
12418
QUANTUM
191
21191
ASN-SEVERTTK
16
50340
SELECTEL-MSK
188
41843
ERTH-OMSK-AS
15
28840
TATTELECOM-AS
184
42682
ERTH-NNOV-AS
15
50113
SuperServersDatacenter
181
50498
LIPETSK-AS
15
31163
MF-KAVKAZ-AS
176
50542
VORONEZH-AS
15
21127
ZSTTKAS
162
51645
IRKUTSK-AS
15
Таблица 1. Размер AS по количеству анонсируемых префиксов
Эта метрика не всегда релевантна в IPv6 в силу действующих политик выделения IPv6 адресов RIPE NCC и заложенной в протокол избыточности. Мы используем агрегированный размер анонсированного адресного пространства в качестве более надежной метрики для сравнения размеров автономных систем, который определяет ее потенциал и пределы, до которых она может масштабироваться.
Постепенно, данная ситуация будет балансироваться ростом использования IPv6 в российском сегменте интернета и развитием практик работы с протоколом IPv6.
Топ-20 IPv4
Топ-20 IPv6
ASN
AS Name
Количество IP-адресов
ASN
AS Name
Количество IP-адресов
12389
ROSTELECOM-AS
8994816
59504
vpsville-AS
2.76*10^30
8402
CORBINA-AS
2228864
49335
NCONNECT-AS
2.06*10^30
12714
TI-AS
1206272
8359
MTS
1.43*10^30
8359
MTS
1162752
50113
SuperServersDatacenter
1.35*10^30
3216
SOVAM-AS
872608
201211
DRUGOYTEL-AS
1.27*10^30
31200
NTK
566272
34241
NCT-AS
1.27*10^30
42610
NCNET-AS
523264
202984
team-host
1.27*10^30
25513
ASN-MGTS-USPD
414464
12695
DINET-AS
9.51*10^29
39927
Elight-AS
351744
206766
INETTECH1-AS
8.72*10^29
20485
TRANSTELECOM
350720
20485
TRANSTELECOM
7.92*10^29
8342
RTCOMM-AS
350464
12722
RECONN
7.92*10^29
28840
TATTELECOM-AS
336896
47764
mailru-as
7.92*10^29
8369
INTERSVYAZ-AS
326912
44050
PIN-AS
7.13*10^29
28812
JSCBIS-AS
319488
45027
INETTECH-AS
7.13*10^29
12332
PRIMORYE-AS
303104
3267
RUNNET
7.13*10^29
20632
PETERSTAR-AS
284416
34580
UNITLINE_MSK_NET1
7.13*10^29
8615
CNT-AS
278528
25341
LINIYA-AS
7.13*10^29
35807
SkyNet-SPB-AS
275968
60252
OST-LLC-AS
7.13*10^29
3267
RUNNET
272640
28884
MR-SIB-MTSAS
6.73*10^29
41733
ZTELECOM-AS
266240
42244
ESERVER
6.44*10^29
Таблица 2. Размер AS по количеству анонсируемых IP-адресов
Хотя мы и не увидели подобного поведения от упомянутых AS за время проведения исследования. Обе метрики — количество анонсируемых префиксов и агрегированный размер адресного пространства — поддаются манипуляции.
Связность
Существует 3 основных типа отношений между автономными системами:
• Клиент: платит другой AS за транзит трафика;
• Пиринг-партнер: AS обменивающаяся своим и клиентским трафиком бесплатно;
• Поставщик: получает платежи за транзит трафика от других AS.
Тем не менее, иногда бывает, что два интернет-провайдера имеют разные типы отношений в разных регионах, например обмениваясь бесплатно в Европе, но имея коммерческие отношения в Азии. Обычно, данные типы взаимоотношений одинаковы для любых двух интернет-провайдеров, что подтверждается в рассматриваемом нами регионе РФ.
Топ-20 IPv4
Топ-20 IPv6
ASN
AS Name
Количество клиентов в регионе
ASN
AS Name
Количество клиентов в регионе
12389
ROSTELECOM-AS
818
20485
TRANSTELECOM
94
3216
SOVAM-AS
667
12389
ROSTELECOM-AS
82
20485
TRANSTELECOM
589
31133
MF-MGSM-AS
77
31133
MF-MGSM-AS
467
20764
RASCOM-AS
72
8359
MTS
313
3216
SOVAM-AS
70
20764
RASCOM-AS
223
9049
ERTH-TRANSIT-AS
58
9049
ERTH-TRANSIT-AS
220
8359
MTS
51
8732
COMCOR-AS
170
29076
CITYTELECOM-AS
40
2854
ROSPRINT-AS
152
31500
GLOBALNET-AS
32
29076
CITYTELECOM-AS
143
3267
RUNNET
26
29226
MASTERTEL-AS
143
25478
IHOME-AS
22
28917
Fiord-AS
96
28917
Fiord-AS
21
25159
SONICDUO-AS
94
199599
CIREX
17
3267
RUNNET
93
29226
MASTERTEL-AS
13
31500
GLOBALNET-AS
87
8732
COMCOR-AS
12
13094
SFO-IX-AS
80
35000
PROMETEY
12
31261
GARS-AS
80
49063
DTLN
11
25478
IHOME-AS
78
42861
FOTONTELECOM
10
12695
DINET-AS
76
56534
PIRIX-INET-AS
9
8641
NAUKANET-AS
73
48858
Milecom-as
8
Таблица 3. Связность AS по количеству клиентов
Количество клиентов заданной AS отображает ее роль, как прямого поставщика услуги интернет-связности коммерческим потребителям.
Топ-20 IPv4
Топ-20 IPv6
ASN
AS Name
Количество пиринг-партнеров в регионе
ASN
AS Name
Количество пиринг-партнеров в регионе
13238
YANDEX
638
13238
YANDEX
266
43267
First_Line-SP_for_b2b_customers
579
9049
ERTH-TRANSIT-AS
201
9049
ERTH-TRANSIT-AS
498
60357
MEGAGROUP-AS
189
201588
MOSCONNECT-AS
497
41617
SOLID-IFC
177
44020
CLN-AS
474
41268
LANTA-AS
176
41268
LANTA-AS
432
3267
RUNNET
86
15672
TZTELECOM
430
31133
MF-MGSM-AS
78
39442
UNICO-AS
424
60764
TK-Telecom
74
39087
PAKT-AS
422
12389
ROSTELECOM-AS
52
199805
UGO-AS
418
42861
FOTONTELECOM
32
200487
FASTVPS
417
8359
MTS
28
41691
SUMTEL-AS-RIPE
399
20764
RASCOM-AS
26
13094
SFO-IX-AS
388
20485
TRANSTELECOM
17
60357
MEGAGROUP-AS
368
28917
Fiord-AS
16
41617
SOLID-IFC
347
31500
GLOBALNET-AS
14
51674
Mehanika-AS
345
60388
TRANSNEFT-TELECOM-AS
14
49675
SKBKONTUR-AS
343
42385
RIPN-RU
13
35539
INFOLINK-T-AS
310
3216
SOVAM-AS
12
42861
FOTONTELECOM
303
49063
DTLN
12
25227
ASN-AVANTEL-MSK
301
44843
OBTEL-AS
11
Таблица 4. Связность AS по количеству пиринг-партнеров
Здесь важны, хотя и не обязательны, точки обмена трафиком (IX — Internet Exchange) — крупнейшие интернет-провайдеры обычно не участвуют в региональном обмене (за несколькими, достойными упоминания исключениями, такими как NIXI) из-за природы их бизнеса. Большое количество пиринг-партнеров может значительно улучшить связность целого региона.
Есть и обратные случаи, когда контент-провайдеры не поддерживают политику значительного числа региональных соединений, что делает данный индикатор не слишком точным для оценки размера именно контент-провайдеров, то есть объема генерируемого ими трафика. Для контент-провайдера количество пиринг-партнеров может косвенно служить индикатором объема генерируемого трафика — стимул обмениваться большими его объемами бесплатно является фактором мотивации (достаточным для большинства локальных интернет-провайдеров) к тому, чтобы видеть в контент-провайдере достойного кандидата в пиринг-партнеры.
Топ-20 IPv4
Топ-20 IPv6
ASN
AS Name
Размер клиентского конуса
ASN
AS Name
Размер клиентского конуса
3216
SOVAM-AS
3083
31133
MF-MGSM-AS
335
12389
ROSTELECOM-AS
2973
20485
TRANSTELECOM
219
20485
TRANSTELECOM
2587
12389
ROSTELECOM-AS
205
8732
COMCOR-AS
2463
8732
COMCOR-AS
183
31133
MF-MGSM-AS
2318
20764
RASCOM-AS
166
8359
MTS
2293
3216
SOVAM-AS
143
20764
RASCOM-AS
2251
8359
MTS
143
9049
ERTH-TRANSIT-AS
1407
3267
RUNNET
88
29076
CITYTELECOM-AS
860
29076
CITYTELECOM-AS
84
28917
Fiord-AS
683
28917
Fiord-AS
70
3267
RUNNET
664
9049
ERTH-TRANSIT-AS
65
25478
IHOME-AS
616
31500
GLOBALNET-AS
54
43727
KVANT-TELECOM
476
25478
IHOME-AS
33
31500
GLOBALNET-AS
459
199599
CIREX
24
57724
DDOS-GUARD
349
43727
KVANT-TELECOM
20
13094
SFO-IX-AS
294
39134
UNITEDNET
20
199599
CIREX
290
15835
MAP
15
29226
MASTERTEL-AS
227
29226
MASTERTEL-AS
14
201706
AS-SERVICEPIPE
208
35000
PROMETEY
14
8641
NAUKANET-AS
169
49063
DTLN
13
Таблица 5. Связность AS по размеру клиентского конуса
С экономической точки зрения, каждая AS внутри клиентского конуса является, прямо или косвенно, платящим клиентом. Клиентский конус представляет собой множество всех AS, являющихся прямо или косвенно зависимыми на рассматриваемой автономной системе. На более высоком уровне, количество AS внутри клиентского конуса, равно как и количество прямых потребителей, является ключевым показателем связности.
Понимая структуру ядра региональной связности, исходя из числа прямых клиентов и размера клиентского конуса для каждой автономной системы в регионе, мы можем подсчитать, насколько далеко они находятся от крупнейших в регионе транзитных интернет-провайдеров. Наконец, мы приготовили для вас еще одну таблицу, рассматривающую связность до ядра Рунета. «1» означает, что для всех видимых путей существует прямая связность с региональным ядром. Чем ниже число — тем выше связность.
IPv4 top 20
IPv6 top 20
ASN
AS Name
Connectivity rating
ASN
AS Name
Connectivity rating
8997
ASN-SPBNIT
1.0
21109
CONTACT-AS
1.0
47764
mailru-as
1.0
31133
MF-MGSM-AS
1.0
42448
ERA-AS
1.0
20485
TRANSTELECOM
1.0
13094
SFO-IX-AS
1.0
47541
VKONTAKTE-SPB-AS
1.0
47541
VKONTAKTE-SPB-AS
1.07
13238
YANDEX
1.05
13238
YANDEX
1.1
8470
MAcomnet
1.17
3216
SOVAM-AS
1.11
12389
ROSTELECOM-AS
1.19
48061
GPM-TECH-AS
1.11
41722
MIRAN-AS
1.2
31133
MF-MGSM-AS
1.11
8359
MTS
1.22
8359
MTS
1.12
60879
SYSTEMPROJECTS-AS
1.25
41268
LANTA-AS
1.13
41268
LANTA-AS
1.25
9049
ERTH-TRANSIT-AS
1.16
44020
CLN-AS
1.25
20485
TRANSTELECOM
1.18
29226
MASTERTEL-AS
1.25
29076
CITYTELECOM-AS
1.18
44943
RAMNET-AS
1.25
12389
ROSTELECOM-AS
1.23
12714
TI-AS
1.25
57629
IVI-RU
1.25
47764
mailru-as
1.25
48297
DOORHAN
1.25
44267
IESV
1.25
42632
MNOGOBYTE-AS
1.25
203730
SVIAZINVESTREGION
1.25
44020
CLN-AS
1.25
3216
SOVAM-AS
1.25
12668
MIRALOGIC-AS
1.25
24739
SEVEREN-TELECOM
1.29
Таблица 6. Связность AS по расстоянию до ядра региональной связности
Вот лишь некоторые из мер:
Что может быть предпринято для улучшения общей связности и, в результате, стабильности, надежности и безопасности любой страны, Российской Федерации в частности?
- Налоговые вычеты и другие льготы для локальных операторов точек обмена трафиком, а также свободный доступ к ним;
- Бесплатный или дешевый сервитут земли под прокладку оптоволоконных коммуникационных линий;
- Проведение тренингов и обучающих занятий для технического персонала в отдаленных регионах, включая воркшопы и другие форматы обучения лучшим практикам работы с BGP. RIPE NCC организует часть из них, доступных по ссылке.
Презентация полного исследования заявлена в качестве воркшопа (workshop) в рамках 10th Asia Pacific Regional Internet Governance Forum в июле. Данные, представленные выше, являются выдержкой из исследования, проведённого Qrator Labs в отношении второго по размерам в мире регионального Интернет-сегмента Российской Федерации (известного также как «Рунет») на основе открытых данных, собираемых и обрабатываемых в рамках проекта Radar. Запрос аналогичных данных для сегментов иных стран и регионов можно направить на e-mail-адрес mail@qrator.net.