Хабрахабр

[Перевод] Демис Хассабис — великий интеллект, который создал великий интеллект

«Мы нуждаемся в экспоненциальном улучшении человеческого поведения или в экспоненциальном улучшении технологий, и мир не выглядит так, как будто он действует по первому принципу.»

image

Никакого коктейля из капусты в 5 часов утра за прочтением The Wall Street Journal, никакой интенсивной тренировки с последующим завтраком. Для генерального директора полумиллиардной компании Демиса Хассабиса рабочий день начинается очень обыденно. Вместо этого он в приемлемое время прибывает в свой офис, находящийся рядом с Кингс-Кросс в Лондоне, проводит день на собраниях, а затем возвращается домой к семейному обеду с женой и двумя детьми в 19:30.

И тогда все становится немного менее обыденным. Там он может расслабиться и уложить детей спать в 10 часов вечера, начиная то, что он называет «вторым рабочим днем».

«Иногда до 4. «Я не сплю до 4 утра», — говорит он. 30, в зависимости от того, как идут дела».

Речь идет о компьютерных науках, математике и о том, как идти в ногу со временем. Если первая половина его рабочего дня посвящена ведению бизнеса и управлению 700 сотрудниками — 400 из которых доктора наук, стремясь сохранить свои позиции в качестве ведущей мировой компании в области искусственного интеллекта, то во второй половине рабочего дня он напоминает себе зачем он в принципе руководит этой компанией. «Именно тогда я занимаюсь своей исследовательской работой».

Перевод — Диана Шеремьёва.
Перевод выполнен при поддержке компании EDISON Software, которая профессионально занимается безопасностью, а так же разрабатывает системы электронной медицинской проверки.

image

Хотя он виновато признается, что в последние пару недель это «исследование» в значительной степени связано с анализом шахматных матчей. Компания Хассабиса, DeepMind, купленная компанией Google в 2014 году за 400 миллионов фунтов стерлингов, это британский аналог компании Илона Маска, во всяком случае в том, что касается амбиций. Она нацелена не на увеличение, а на преобразование. Его задача: «Разобраться в искусственном интеллекте, а затем использовать его для решения всего остального».

Через несколько дней после нашего интервью DeepMind сделают что-то странное для якобы прибыльного предприятия. Во время нашей встречи 42-летний Хассабис находится в рефлексивном настроении. Они опубликуют научную статью, описывающую ключевую часть своей интеллектуальной собственности — и важный шаг в достижении этой невероятной цели.

Речь идет о программе, разработанной его компанией под названием AlphaGo, которая затем была преобразована в другую программу под названием AlphaZero. Не будет преувеличением сказать, что эта статья оставила за собой последнее слово в самой удивительной истории за все время существования искусственного интеллекта. Он не только решил одну из самых больших проблем в искусственном интеллекте — победить людей в стратегической настольной игре Go — он также использовал настолько общий способ решения этой проблемы, что впоследствии это может стать лучшим шахматным компьютером в мире.

Для Хассабиса это также стало кульминацией путешествия, которое привело его в Кембридж и Университетский колледж Лондона, благодаря которому он стал мастером спорта по шахматам в 13 лет и разработчиком программного обеспечения, которое продавалось за миллионы долларов, еще до того, как он повзрослел. Можно поспорить — и это то, чем философы активно занимаются — что эта программа действительно «обладает интеллектом». В Финчли, на севере Лондона, он начал задумываться о том, как работает человеческий разум. Но началось все это, когда он был подростком.

image

Хассабис в возрасте 7 лет у себя дома, в Финчли, с одним из своих трофеев за победу в шахматной игре.

Он занимался этим, потому что некоторые из его старых друзей в городе. Однако Демис Хассабис провел свой «второй рабочий день» допоздна анализируя шахматные матчи не из-за AlphaZero. Во время нашей с ним встречи в Лондоне проходит финал чемпионата мира по шахматам, в котором после 12 напряженных партий в итоге победил действующий чемпион Норвегии Магнус Карлсен.

«Это был шахматный праздник», — говорит он. Это означало, что находясь посреди путешествующего цирка из тренеров, комментаторов и разных гроссмейстеров Хассабис переживал свою молодость.

Я не видел ее 30 лет ». «Я шутил с Джудит Полгар [известный гроссмейстер] только сейчас, на самом деле. «Она была № 1, когда я был № 2.» Когда он говорит «№ 2», он имеет в виду в мире — Полгар из Венгрии. Он и Полгар почти ровесники, и когда им было 12 лет, они были жестокими конкурентами. Они были лучшими в своей возрастной группе.

Неожиданно для всех он бросил шахматы. Увы, это был пик его шахматной карьеры. Шахматы, решил он, не для него. Он так и не достиг уровня гроссмейстера и смотрел, как Полгар стала лучшей женщиной-игроком в истории. В том, чтобы посвящать этому свой мозг и свое сознание есть какая-то профессиональная непорочность », — говорит он. «Мне нравится то, что делают эти люди. «Я знал с самого начала, что я гораздо лучше, как универсал».

Хотя вживую его невысокий рост и очки делают его немного похожим на учтивого Пинфолда из сериала “Опасный мышонок”, у него нет странных тиков, он не прячет глаза в пол при беседе с вами. Для бывшего ребенка-вундеркинда, человека с жутко пугающим интеллектом и сверхчеловеческим графиком работы Хассабис даже не удосуживается быть социально неполноценным. Он не только нормален для программиста, к большому сожалению, он кажется вполне нормальным для обычного человека.

«В мире слишком много увлекательных вещей, чтобы тратить всю свою жизнь на одержимость», — говорит он. В некотором смысле именно поэтому он бросил шахматы. Я любил физику, искусство, много всего. «Вот как я себя чувствовал, когда был молодым. Я помешанный, но на всем сразу — если это не оксюморон ». Чтобы стать Магнусом Карлсеном, ты должен быть серьезно одержим.

Он перемещается от дисциплины к дисциплине, от бизнеса к университету, от университета к бизнесу, ни на чем не останавливаясь — по крайней мере, до сих пор. Поначалу из-за своего жизненного пути Хассабис кажется одним из самых выдающихся любителей. Но, пожалуй, самое удивительное состоит в том (и вы скоро увидите, что это не снисходительное утверждение), что так и было запланировано.

Именно тогда он впервые заинтересовался шахматной доской. Логичнее всего начать историю его карьеры с – я не шучу – времен, когда Демису было 4 года. Шахматы это улучшение принятия решений. «Для меня все началось с шахмат. Хотя и был ребенком. До 12 или 13 лет я считал себя профессиональным шахматистом. Вы усердно учитесь, разговариваете с тренерами, анализируете свои собственные партии, думаете о том, как можно улучшить свои навыки.

«Это заставило меня задуматься о процессе мышления: что такое интеллект, как мой мозг придумывает эти идеи?» Вот так он и бросил карьеру шахматиста.

Или, по крайней мере, он бросил профессиональные шахматы. Дэвид Сильвер, коллега-программист и ученый в области компьютерных наук, впервые встретил его несколько лет спустя, когда им обоим было по 15 лет. «Я участвовал в юношеских соревнованиях по шахматам в Саффолке», — говорит Сильвер. «Демис был ребенком, возвращающимся из Лондона и нуждающимся в деньгах на карманные расходы. Он выиграет местный турнир, возьмет призовой фонд в 50 фунтов стерлингов — именно так он заработает свои карманные деньги в те выходные ». На сегодняшний день Сильвер работает программистом в DeepMind, где он руководит проектом AlphaZero.

«Я купил свой первый компьютер, когда мне было 8 лет, на деньги, которые я получил от победы в шахматном турнире», — сказал он. Большая часть этих призовых денег пошла на то, что быстро стало новым хобби Хассабиса. Но они ничего не сказали, это были мои деньги. «Мои родители ничего не смыслили в компьютерах, все еще не смыслят. Я понял, что компьютер это удивительное, почти волшебное устройство для расширения возможностей вашего ума ». Я начал программировать.

Какое у него было домашнее образование? Вы, наверное, думаете, какую роль во всем этом сыграли его родители? А когда у него случился неизбежный подростковый срыв?
Кто заставлял его учиться?

“Я знал, что это будет величайшее приключение, в котором только можно поучаствовать В возрасте 16 лет он работал над начальной версией искусственного интеллекта.

Но правда в том, что его родители вообще не были вовлечены. Его отец киприот-грек был продавцом игрушек, а его мать китаянка-сингапурка работала у Джона Льюиса. Он описывает их как «довольно богемных» людей и говорит, что они всегда поощряли его и его брата и сестру преследовать свои интересы. Для его брата и сестры это означало музыку и литературное творчество; для него это означало нечто, чего они просто не понимали. «Мои родители потеряли представление о том, что, черт возьми, я делал, когда мне было 14 или 15 лет».

Между досрочной сдачей выпускных экзаменов и поступлением в университет был перерыв. Тоже самое было, когда он съехал от них. Поэтому он принял участие в соревновании по программированию с игровой компанией Bullfrog и занял второе место. Его приняли в Кембридж, но они сказали, что не позволят ему у них учиться, пока он не станет старше.

image

Хассабис в 23 управляет своей второй компанией по разработке игр, 1999

В этот момент они узнали — как и Кембридж — что он несовершеннолетний. «Они пригласили меня на летнюю работу». Нанимать тебя нелегально ». «Они сказали:« Ты не можешь здесь работать. »Мне платили 200 фунтов в неделю в конвертах из коричневой бумаги. Я спросил:« Могу ли я работать так или иначе? Young Men's Christian Association — «Юношеская христианская ассоциация») — молодёжная волонтерская организация. Я заплатил за комнату в YMCA (*от англ. ) наличными ».

Он участвовал в разработке Theme Park, одной из самых успешных игр девяностых, тираж которой составил 15 миллионов экземпляров. Здесь он заработал гораздо больше, чем мог бы заработать на летней работе. Демису было 16 лет, и он начал видеть свое будущее. В частности, он работал над элементарным ИИ, а это означало, что искусственный интеллект реагировал на то, как люди играли в эту игру. С тех пор «Это был довольно скоординированный план; У меня всегда на уме была компания вроде DeepMind ». «Когда я увидел, насколько успешным был этот проект, я понял, что это будет величайшее приключение, в котором только можно поучаствовать».

Как шахматист, думающий на 15 шагов вперед, он хотел расставить фигуры, совершая разные карьерные и академические гамбиты, пока он не будет в состоянии нанести удар.

«Это было ближе к математике, чем к компьютерной науке. Первой фигурой, которую он разместил, стал Кембриджский университет, где степень бакалавра по вычислительной технике дополнила его практические навыки программирования более теоретическими. Это дало мне хорошую базу ». Я любил все это. «Все вращалось вокруг логики. Хотя он не согласился с их подходом к искусственному интеллекту. Вы никогда не сможете запрограммировать достаточно знаний так, чтобы они внезапно стали разумными. Для меня было очевидно, что это путь в никуда. Мы недостаточно знаем о знаниях в наших собственных мозгах, чтобы представить их как набор определенных правил ».

Целью, однако, было не программирование, а бизнес. Второй шаг после Кембриджа — возвращение к созданию компьютерных игр, на этот раз под его руководством. «Мне нужно было научиться управлять компанией и командами.

Но: «Еще было не время, чтобы создать DeepMind. После выпуска двух игр — поклонники могут помнить Black & White и Republic: Revolution — он научился всему чему хотел и закрыл свою игровую студию. Тогда я защитил докторскую диссертацию по когнитивной нейробиологии. Мне нужен был источник идей помимо компьютерных наук. Он хотел узнать, как работает мозг, чтобы воспроизвести его на компьютере. В частности, в областях нейробиологии мы мало представляли, как адаптироваться к искусственному интеллекту.

Наконец, в 2010 году время пришло.

С тех пор, как Google купил его — крупнейшее в Европе приобретение — DeepMind базируется в британской штаб-квартире в Кингс-Кросс. DeepMind, который Хассабис основал вместе с друзьями Мустафой Сулейманом и Шейном Леггом, до сих пор работает как отдельная компания.

Это место, где вы редко находитесь от стола для пинг-понга дальше чем на расстоянии нескольких шагов, а если это все же случается, то скорее всего это потому что вы находитесь рядом со смузи. Офис это предел мечтаний, здесь есть все что вы могли бы надеяться увидеть у технологического гиганта. Окна украшены в стиле ретро, ​​пиксельными персонажами видеоигр. На стойке регистрации прилежно одетые администраторы с пирсингом сотрясают воздух, рассказывая что это всего лишь временная работа, которая им нужна прежде чем их танцевальная карьера начнет развиваться.

Это как если бы курс компьютерных наук в Кембриджском университете внезапно переместился в модную хипстерскую кофейню в Далстоне. Единственное, что слегка подводит этот мега стильный образ, это сами сотрудники, которые проходят мимо вас с заправленными футболками, неизменно неся ноутбуки, источая этот запах, безошибочно узнаваемый, знакомый с детства, если вы провели ваше детство в Games Workshop. Что, конечно, не так уж далеко от истины.

Там находится столько же досок Go, сколько столов для пинг-понга, и заполненные уравнениями доски в залах получают больше внимания, чем настольный футбол перед ними. Но вы можете убрать все стеклянные, стальные и деревянные стены, и у вас все равно останется что-то еще. «Это был большой прогресс для женщин», — говорит один из сотрудников, когда мы проходим мимо двух кабинетов: Мэ́ри Ше́лли и Сомервилль. Когда мне устраивают тур, я прохожу офис Тьюринга, офис фон Неймана и конференц-зал Рамануджана.

Ощущение кипения, будто за дверьми может быть что угодно. Повсюду огромное, почти ощутимое чувство интеллектуального возбуждения. «Он просто играет в изысканные игры», — говорит Мэтью Садлер, вышеупомянутый гроссмейстер, так как AlphaZero рекомендует ход, пропущенный Магнусом Карлсеном. Почему-то неудивительно, что попав в комнату Гаусса вы обнаруживаете, что гроссмейстер и международный мастер наблюдают за тай-брейк матчами чемпионата мира по шахматам, используя анализ AlphaZero.

Затем я закрываю эту дверь и гадаю, что находится за следующей.

В 1997 году компьютер Deep Blue обошел Гарри Каспарова, чемпиона мира по шахматам, в одном из самых известных матчей, когда-либо сыгранных. Чтобы понять, почему игры AlphaZero такие особенные, почему Садлер так взволнован, вам нужно вернуться на 21 год назад. Это событие было объявлено как финальная битва человека против машины.

Однако на самом деле была еще одна игра, которую компьютеры не могли одолеть: Go, настольная игра на Дальнем Востоке, в которой гораздо больше игровых позиций, чем атомов во вселенной.

Она требует интуиции и инстинктивной оценки позиций и красоты. Go это игра, которая не реагирует на грубый расчет. В тот момент многие думали, что в Go еще лет 20 будет человеческое превосходство. В отличие от шахмат, где к 2016 году мобильный телефон мог сыграть в заслуживающую доверия игру даже с гроссмейстером, не было программ, близких по уровню к игре Go. Хассабис думал иначе.

В конце концов, такой общий интеллект может быть использован для решения научных и коммерческих задач. Google купил DeepMind, потому что он хотел усовершенствовать искусственный интеллект в общем, разрабатывать программы, которые могут быть хороши не только в чем-то одном — например, в шахматах, но во многих областях.

Две недели назад DeepMind выиграли конкурс по предсказанию того каким образом будут сворачиваться белки — эзотерический навык, который на самом деле имеет решающее значение для всех процессов в организме. DeepMind, на самом деле, уже сделал некоторые из этих вещей — его программное обеспечение используется для рекомендации покупок в Google Play и оно снизило потребление энергии в серверных комнатах Google. Но хорошим способом доказать всему миру, что искусственный интеллект работает это сделать это так же, как это обычно делают люди, в том числе и Хассабис, доказать, что есть интеллект, с помощью игры.

В то время как Deep Blue требовалась команда программистов и гроссмейстеров, чтобы научить его шахматным трюкам и передать человеческие знания, накопленные за тысячелетия, AlphaZero буквально ничего не требовал. Подход DeepMind к Go сильно отличался от программ, которые использовались ранее. Все, что он знал, это то, что он хотел выиграть, и все, что у него было, это доска и знание правил. Эта программа начала жизнь, как новорожденный, появившийся на свет в мире Go.

image

Со Стивеном Хокингом, 2017

Из-за недостатка слов он научился интуиции. Затем, как ребенок, делающий свои первые шаги, в течение десятков тысяч игр, сыгранных против самого себя, он экспериментировал и совершенствовал свое понимание. Затем он использовал эти навыки, чтобы разрушить опору человеческого интеллекта. Постепенно он самостоятельно освоил навыки людей-мастеров, а также обрел несколько своих. Младенчество AlphaZero измерялось в часах, после чего он смог победить лучшего человека в мире.

После того, как программа Хассабиса стала бесспорным компьютерным чемпионом Go, он отправился на конференцию, чтобы рассказать о своих достижениях. Однако этого было недостаточно. «Мюррей спросил:« Что бы он сделал, если бы мы опробовали это на шахматах? Мюррей Кэмпбелл, который был в команде Deep Blue, победившей Каспарова, подошел к нему. Для обычной программы вопрос был бы бессмысленным — Deep Blue умели играть в гроссмейстерские шахматы, но попросить их сыграть в Go было бы так же нелепо, как попросить сыграть в нее голубя. ». Для AlphaZero это означало просто новый этап младенчества. Для этого потребовалось бы начать все заново и разработать новую систему с нуля.

На этот раз на доске находились не плоские фишки Go, а ферзи, короли, слоны и королевы шахмат. Таким образом, AlphaZero, был перерожден в мире черного и белого. «К обеду это будет самая сильная организация из всех, что когда-либо существовали». «AlphaZero может начать играть утром совершенно случайным образом, тогда к чаю у него будет нечеловеческий уровень», — сказал Хассабис. Когда он просматривал игры, он понимал, что это не просто лучший игрок в мире; это был не просто лучший компьютер; он также открыл новый способ игры.

«Вы можете оценить эту красоту. «Это как шахматы с другой планеты», — сказал Хассабис. Один гроссмейстер разрешил проанализировать свои игры, сравнивая этот поступок с поиском старых тетрадей давно забытого гения шахмат из прошлого.
AlphaZero приносит в жертву фигуры, открывая новые линии атаки ».

В перспективе искусственный интеллект сможет мыслить как ученый и создавать открытия уровня Нобелевской премии

Из-за настольного футбола и высоких амбиций, все это может оправданно звучать так словно DeepMind это пародия на Кремниевую долину. Только вот если это так, то Кремниевой долиной они будут до поры до времени. Хассабис — программист. В этом программировании Valhalla он достиг чего-то, что ускользнуло от Facebook, Microsoft и всех тех, кто был до него: он свел столкновения со скукой аналоговой реальности к минимуму.

Когда DeepMind были куплены Google, они не просто зарабатывали деньги; они получил свободу. Комиссионные выплаты монополий или слушания Сената о вмешательстве России в выборы не для него.

Требовалось множество компромиссов в обоих случаях», — говорит он. «Было принято важное решение относительно того, должны ли мы продавать или нет. Однако это не единственная автономия. В случае продажи он терял один вид автономии — у него внезапно появлялся начальник. Мне никогда не казалось привлекательным быть публично цитируемым генеральным директором. «Одна вещь не давала мне покоя. Я предпочитаю науку. Тогда ваша жизнь это просто доходы и ежеквартальные цели, а не чисто фундаментальные исследования.

Они не ждали, что DeepMind быстро принесет прибыль. Google были уверены, что эта покупка не похожа на покупку YouTube. «Я понял, что если бы я делал это с Google, я мог бы быть за кадром и продолжать заниматься наукой», — говорит Хассабис. Они нужны, чтобы решить проблему интеллекта; это Манхэттенский проект по вычислительной технике.

Интеллект не решается просто победой в нескольких настольных играх. Еще многое предстоит сделать. В отличие от жизни, у нее есть четкие правила, четкие результаты, и все знают, что происходит. Шахматы — чрезвычайно сложная проблема, но также и очень простая. Одним из достижений, которого они уже достигли, является понимание сворачивания белков, что крайне важно для разработки новых лекарств. Существуют аналогичные ситуации в реальной жизни — такие, где, как и в шахматах или игре Go, решение заключается в выборе правильного пути из множества возможных комбинаций. Наша неспособность моделировать химию белка в организме является одной из причин, по которой разработка новых лекарств стоит так дорого.

Как только они начинают работать, учиться и развиваться, их работа может стать такой же непонятной для посторонних, как и наш собственный мозг. Одна из самых странных вещей в программах искусственного интеллекта состоит в том, что люди создают их, но не понимают их.

На шахматной доске, в отличие от белков, вы можете увидеть ход, бросающийся в глаза. Для Хассабиса шахматная программа это способ увидеть мозг AlphaZero. Решая проблему, которую он понимает — шахматы, — он может получить представление о той, которую он не знает, например, о белках. «Я чувствую, что процесс оптимизации происходит на доске, — говорит он. Если вы достаточно хорошо играете в шахматы, это почти тоже самое как если бы вы почувствовали, что это верный ход. «Если ход конем не оптимален, AlphaZero может переместить его на шесть позиций, чтобы сделать его правильным. Это все равно что быть внутри сознания AlphaZero».

Он считает, что в перспективе ИИ мог бы научиться работать как ученый, разрабатывать гипотезы и разрабатывать эксперименты для их проверки, а затем «совершить крупный прорыв уровня Нобелевской премии». У Хассабиса, естественно, планы не ограничиваются простой экономией миллионов на фармацевтических исследованиях.

Один из проектов компании включает анализ данных о состоянии здоровья. Иногда, между мечтами о Стокгольме и анализом шахматных игр, грубо врывается реальность. Однако для постановки такого диагноза DeepMind необходимо много данных — ему нужен доступ к записям пациентов NHS. То же распознавание образов, которое может интуитивно понять наилучшую реакцию на позднюю рокировку на стороне королевы, может также угадать лучший диагноз, скажем, раннего появления сетчатки.

В 2017 году уполномоченный по вопросам информации осудил Королевскую бесплатную больницу за то, что она не сделала достаточно, чтобы проинформировать пациентов о партнерстве, прежде чем передать данные DeepMind для обработки этих данных от своего имени. Люди начали это замечать. Буквально в прошлом месяце было объявлено, что дочерняя компания компании перейдет в Google, что потребует дополнительных гарантий того, что данные о пациентах в Великобритании будут защищены.

Большинство из них будет решаться — некоторые из них самой компанией, другие обществом, адаптирующимся к новому миру больших данных и алгоритмов. Проблемы подобного рода неизбежны и они будут продолжаться, проникая даже в разреженную атмосферу комнаты Платона в DeepMind («пещера» — в основном, как и другие комнаты, но с креслами-мешками).

Вместо того, чтобы задаваться вопросом, можем ли мы развить настоящий искусственный интеллект, некоторые утверждают, что мы должны начать беспокоиться о том, должны ли мы его развивать. Проблема, которая вряд ли когда-либо исчезнет, также является одной из самых важных.

Он позиционирует себя как человека в меру обеспокоенного, но не преувеличивающего факты. Хассабис, как и все в этой области, имеет отрепетированный ответ на вопрос, который можно охарактеризовать как «проблема апокалипсиса роботов». Существуют этические проблемы с искусственным интеллектом, но они могут быть решены, и трудности, которые он может решить гораздо значительнее чем трудности, которые он может вызвать.

«Существует так много проблем, от болезни Альцгеймера до изменения климата, которые чрезвычайно сложны и в решении которых мы, похоже, почти не прогрессируем. «Я бы был гораздо более пессимистично настроен по поводу будущего, если бы не знал, что на его пути стоит искусственный интеллект», — говорит он. Либо мы нуждаемся в экспоненциальном улучшении человеческого поведения или в экспоненциальном улучшении технологий, и мир не выглядит так, как будто он действует по первому принципу».

Вместо этого он наслаждается достижением, которое касается как прошлого, так и будущего. На данный момент, однако, он не зациклен на апокалипсисе. Он бросил шахматы, хотя знал, что у него был шанс стать лучшим в мире шахматистом. В возрасте 13 лет молодой Демис Хассабис произвел расчет.

И все же, как шахматный конь, который сделал шесть ходов, чтобы попасть в нужное место для атаки, он шел по направлению к чему-то, что было каким-то образом неизбежным с самого начала. Затем он выбрал путь, который, как он признается, кажется совершенно случайным.

«Я прошел полный круг. Этот путь привел его к сегодняшнему дню где, находясь в комнате в своем кабинете, где работают чрезвычайно заинтересованные гроссмейстеры, он создал лучшего шахматиста в мире. Я думаю, если рассуждать по этому поводу как Фрейд, — говорит он, — возможно, у меня было какое-то незавершенное дело». Я чемпион мира по игре в шахматы “чужими руками”.

Шах и мат.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть