Хабрахабр

[Перевод] Ричард Хэмминг: Глава 22. Обучение с помощью компьютера (CAI)

«What you learn from others you can use to follow;
What you learn for yourself you can use to lead.»
— Ричард Хэмминг

imageОсталось опубликовать 1 главу…

Применение ЭВМ в учебном процессе. Сomputer-aided instruction (CAI) — машинное обучение. ЭВМ в диалоговом режиме предлагает учащемуся материал в виде текстов и графических изображений, дает задания и проверяет их выполнение, позволяет выполнять учебные эксперименты.

Перевод Islam Rasulov

Прежде чем мы перейдем к современным утверждениям, было бы полезно изучить имеющиеся ранее теории по этому вопросу. Так как компьютеры были установлены во многих университетах, рано или поздно возник бы вопрос о применении компьютеров для обучения.

Вы также знаете, что деньги и тренировки не сильно помогут, если вы захотите пробежать милю за 4 минуты. С древнегреческих времен существует история о математике, повествующем правителю о существовании королевских дорог для совершения прогулок, королевских посланников для отправки почты правителя, но не существовало никакой дороги к геометрии. И это относится абсолютно ко всем людям. Не существует легкого способа сделать это.

Олдос Хаксли в своей книге «О дивный новый мир» обсуждает идею обучения во время сна, когда под подушку вам подкладывается микрофон и через него происходит воспроизведение чего-либо. Истории известно огромное количество людей, которые искали легкие способы обучиться чему-либо. До сих пор существуют институты Дианетики, но их главная проблема – люди, созданные ими, похоже, не добились успеха в какой-либо сфере человеческой жизнедеятельности, не говоря уже обо всех сферах. Он также раскрывает и серьёзные ограничения такого процесса.
Во время моей работы в лаборатории Bell Telephone в мире возникла Дианетика, которая обещала, что она может «очистить» ваш разум от всех своих ошибок, после чего вы сможете рассуждать идеально. Вокруг нас бесконечное количество объявлений об обучении скоростному чтению, техниках скоростного обучения и т.д., каждое из которых обещает, в той или иной мере, значительно улучшить наш разум, не прикладывая тяжелых усилий, которых большинство из нас вынуждены прикладывать для достижения успеха. Другая организация обещает раскрыть секреты древних людей (кто был, возможно, гораздо более умнее, чем мы сейчас). Как сказал Ферми о сверхземном интеллекте и пришельцах НЛО: «Где они и почему мы не встречались с ними?» Тестирование подобных предложений показало, что ни одно из них до сих пор не привело к появлению значительного количества выдающихся людей (что мы, собственно, знаем на настоящий момент).

Вы должны с осторожностью относится к каждому подобному предложению, но в то же время, не исключено появление новых вещей, доселе неизвестных, и новых инструментов, таких как дешевые компьютеры, которые в настоящее время широко доступны, а ведь совсем недавно это было не так. Следовательно, вся история с ее многочисленными утверждениями о легком обучении красноречиво говорит против нынешнего всплеска обещаний, но это, конечно, не означает, что какой-то новый трюк не сработает. Часто я читаю или слышу, что я должен верить, что компьютер круто изменит нашу жизнь несмотря на все прошлые обещания, которые, очевидно, потерпели неудачу. И эти инструменты могут отличаться. Остерегайтесь искушения принимать желаемое за действительное — вы хотели бы, чтобы это было правдой, поэтому вы предполагаете, что это правда!

Очень давно на заводе «Вестерн Электрик» в Хоторне несколько психологов пытались повысить производительность рабочих за счет различных изменений в окружающей среде. Существует еще один важный фактор, который необходимо объяснить – Хоторнский эффект. Они сделали освещение более мягким и продуктивность рабочих повысилась. Они покрасили стены в привлекательный цвет и продуктивность рабочих повысилась. Один из мужчин, немного подозрительный, вернул изменение к первоначальному состоянию, и производительность снова повысилась! Каждое изменение способствовало повышению производительности. Оказалось, что, когда ты проявляешь заботу о человеке, он отвечает аналогично. Почему? Все рабочие полагали, что изменения делались для из блага и реагировали соответствующе.

Новый метод может или не может быть лучше, на самом деле, он может быть даже хуже имеющихся методов обучения, но эффект Хоторна, который является не таким уж и незначительным в области образования, вероятно, свидетельствует о новом, важном, более лучшем методом обучения. Применительно к процессу обучения, когда вы говорите студентам, что используете новый метод в обучении, то в ответ они повышают свою эффективность, что, кстати, делает и профессор. И не важно, что представляет из себя этот метод, если студенты поймут, что этот метод предназначен для их блага, он непременно приведет к улучшениям.

Давайте вспомним мои более ранние рассуждения, обсуждаемые в главе 20, о необходимости «двойных слепых» экспериментов в медицине, так вот, это то же самое чувство, когда респонденты ощущают особое отношение и особую заботу. Таким образом, эффект Хоторна искажает большинство образовательных экспериментов. Такие эксперименты являются неоспоримым фактом в жизни, но они обычно игнорируются. Те, кто позже оценивают последствия, должны также находится в незнании относительно того, кто ощутил или не ощутил на себе то особое отношение. Авторитет экспериментатора, сложность оборудования, степень сжатия данных и, особенно, ваша вера не должны поколебать вас. Таким образом, вы никогда не должны верить результатам небрежно проведенных экспериментов, когда они связаны с привлечением людей. Еще раз, будьте очень, очень осторожны при проведении подобных экспериментов.

Все, что имеет значение – и профессор и студенты верят в изменение. Эффект Хоторна показывает нам, что правильный метод обучения всегда будет находиться в состоянии экспериментального изменения, несмотря на то что уже сделано.

В 1960 году, когда я был в творческом отпуске в Стэнфорде, там работала программа для грейдеров. Позвольте мне обратиться к истории применения компьютеров в целях улучшения процесса обучения. Когда студенты чувствовали, что их программы готовы к сдаче, они звали преподавателя, подтверждали свою личность, после чего компьютер генерировал некоторые допустимые входные параметры и запускал обе программы (профессора и студентов), после чего сравнивал результаты. Любая задача по программированию для студентов требовала от профессора предоставление законченной компьютерной программы, имена входных параметров, диапазон значение входных параметров, а также приемлемые выходные значения. Таким образом преподаватель мог с легкостью оценить время компиляции и время выполнения программы, так как параметры являлись обычными числами, но при этом ему не требовалось судить о стиле реализации программ. Каждый выходной параметр имел метку «Верно или Неверно».

Программа сохраняла журнал в закрытой базе данных, по запросу профессора предоставляла сырые данные, оставляя при этом определение фактических оценок на откуп профессора. Этот метод являлся гибким, легко адаптируемым к изменениям и от года к году применялся при решении определенных задач. Конечно, из этой базы данных профессор мог получить средние оценки, разницу в оценках и распределение оценок по группам.

И оказалось, что она больше не используется. Когда я посетил Стэнфорд несколько лет спустя, я поинтересовался о судьбе этой программы. Потому что, как мне сказали, самый первый профессор, который начал применение этой программы, ушел, а изменения, внесенные в систему мониторинга, потребовали бы внесения нескольких изменений в программу! Вы спросите почему? Компьютер запрограммирован, чтобы помочь, судя по всему, профессору, однако вскоре программа была забыта. Тщательное наблюдение и опрос показали, что аналогичная ситуация сложилась во многих кампусах.

Я часто встречаю его на различных конференциях, однажды мы с ним долго летели в самолете, и каждый раз он мне рассказывает о своем замечательном проекте PLATO. А сейчас позвольте мне обратиться к проекту PLATO, разработанному моим другом в Университете Иллинойса. Я ему сказал, что обычная телефонная компания могла бы сделать то же самое, но то что он ответил мне, было никак не связано с тем, насколько PLATO работала лучше по сравнению с работой людей. Например, как-то он сказал мне, что по системе PLATO одновременно обучаются по одному ученику из Шотландии, Канады и Кентуки. Он никогда, на моей памяти, не предоставлял никаких серьезных доказательств того, что PLATO существенно улучшает процесс обучения — именно этого вы будете ожидать от эффекта Хоторна.

Когда я спросил, характерен ли 10-ти процентный рост всей образовательной системе или присущ только какому-то отдельному предмету, он не смог мне ответить на этот вопрос! Одно из утверждений гласило, что студент, применяющий систему, находится на 10% выше в уровне своего образования чем тот, кто не применяет систему. Ничего! Что же он сделал с эффектом Хоторна? Таким образом, я не знаю, были ли достигнуты или нет те цели, на которые были потрачены миллионы и миллионы долларов из федерального бюджета.

Эта книга регулярно задавала вопросы своему читателю, а затем, в зависимости от ответа, читатель перенаправлялся на одну из страниц книги. Однажды, когда я был главным редактором ACM Publications, ко мне на публикацию поступила книга “Программируемая книга”. Звучит круто! В принципе ошибки в ответах отлавливались и объяснялись, после чего правильные ответы отправлялись читателю в качестве нового материала. Но посмотрите, при данном подходе не существовало никакого способа отслеживания и поиска того, что уже было прочитано студентом несколько страниц назад и в настоящий момент непонятно, как и откуда он достиг текущей позиции. Каждый студент работал по своей собственной программе. На самом деле это не книга, хотя она и кажется таковой. Не было никакого разумного способа отследить это по тексту. Таким образом они хотели выяснить, куда их отправит книга. Еще одним ужасным фактом тщательного наблюдения за студентами в процессе чтения книги оказалось то, что сильные студенты выбирали заведомо неправильные ответы на вопросы просто от скуки или для развлечений. Исходя из этого, книга не всегда выполняла ту функцию, которая она по задумке должна была выполнять; сильные студенты не обязательно показывали существенный прогресс в обучении по сравнению со слабыми студентами!

Кроме прочего, он сказал, что на следующей неделе планируется большая конференция о “Программируемой книге” и предложил мне посетить ее, что я и сделал. Я не хотел отказываться от печати этой книги, опираясь только на свое собственное мнение, поэтому я отправился в департамент психологии лаборатории Bell Telephone и нашел там местного эксперта. Он подтолкнул меня и сказал: «Заметь, ни один из них не предоставил ни одного конкретного доказательства в пользу книги, они лишь утверждают, что программируемый текст лучше». В день открытия конференции мы сели рядом друг с другом. Я отказался от печати книги и, оглядываясь назад, я думаю, что поступил правильно. И он был прав — они все лишь выражали свое мнение без предоставления каких-либо доказательств. Сейчас у нас есть компьютерные диски, которые призваны делать то же самое, что и “программируемая книга”, но я подозреваю, что формат дисков имеет существенные отличия, хотя они и могут отследить пройденный Вами путь.

Теперь перейдем к позитивной. Мы рассмотрели негативную сторону CAI. Я думаю, что в этом вы со мной согласитесь. Я не сомневаюсь, что с обучением скучной арифметике, например, таблицам сложения и умножения, компьютер справляется лучше, чем преподаватель, особенно после включения в процесс простейшей программы отлавливания ошибок и генерирования большего количества примеров, таких как умножение на 7. К сожалению, в будущем мы ожидаем, что корпорации и другие крупные организации откажутся от такого способа обучения (компьютеры будут справляться с этим лучше и дешевле), и решение о принятии такого подхода будет целиком зависеть от Вас.

Тренажеры показывают хорошие результаты по сравнению с любым жизненным опытом и, как правило, во время обучения пилоты имеют мало опыта по тренировке интерактивного взаимодействия. Теперь рассмотрим процесс тренировки пилота самолета на современных тренажерах. Об этом не особо сильно задумываются, хотя порой это необходимо, но тренировка, ментальная и физическая, способствует быстрой и правильной реакции в случае непредвиденных чрезвычайных ситуациях. Полет, в значительной степени, и я указываю на это, представляет собой условный рефлекс, который встраивается в человека в процессе обучения.

Так вышло, что в детстве я занимался фехтованием. Мне кажется, что такую тренировку, при которой происходит привитие условного рефлекса человеку, компьютеры выполняют очень хорошо. На самом деле, дуэль обычно тщательно планируется, но в ответственный момент необходимо действовать без задержки в мышлении. В дуэли нет времени думать, ты должен быстро действовать рефлексивно.

В некоторых горячих темах, связанных с образованием, наши взгляды отличались. Когда я впервые попал в Военно-морскую аспирантуру в 1976, там работал декан отделения, который был обеспокоен образованием. Я объявил студентам, что экзамен курса сдаст только тот, который сможет толкнуть 250 фунтов. Однажды я пришел к нему в офис и сказал, что я преподавал студентам тяжелую атлетику (он знал, что это неправда). Я продолжил свой рассказ. Мои слова обескуражили многих студентов, и они сдались, некоторые отправились тренироваться и лишь немногие успешно прошли курс. Прошлой ночью я долго думал и решил упростить задачу, просто разделив вес пополам — студенты будут считаться прошедшими курс в случае, если они смогут поднять 125 фунтов, зафиксировать вес, затем еще раз поднять оставшиеся 125 фунтов, таким образом в сумме получиться 250 фунтов.

Каков будет Ваш ответ? Я немного подождал, пока он перестанет смеяться (так же, впрочем, как и Вы), после чего я заметил, когда я нашел более простое доказательство теоремы и использовал для этого студентов, снизил ли я или нет вес пополам? Из этого не следует, что студентам должны задаваться более легкие задачи для того чтобы они работали усерднее. Разве нет истины в том, что чем легче мы делаем процесс обучения для студентов, тем больше мы сокращаем вес пополам? Доказательства, свидетельствующие о способности людей вносить существенный вклад, приводят нас к выводу: знаменитый профессор был ужасным лектором, а студенты должны работать более усерднее, чтобы изучать предметы самостоятельно.

Я снова предлагаю обратить внимание на правило:

То чему вы научились от других, вы можете использовать чтобы идти следом.
То, что вы выучили сами, вы можете использовать, чтобы вести за собой.

До какой степени будет корректно сравнивать физические мышцы с «ментальными» мышцами? Несомненно, эти два вида мышц не являются одинаковыми, но до каких пор они будут считаться аналогами? Подумайте над этим вопросом самостоятельно.

В ответ на это я парировал, что скорость обучения играет значительную роль для организаций — при прочих равных условиях студенты, быстро осваивающие материал, имели более высокую ценность, чем те, которые медленно усваивали материал; одной из задач нашей работы как раз и являлось повышение скорости обучения и выделение таких студентов для общества. Другим моим аргументом в противостоянии с тем же самым деканом была его вера в то, что студентам необходимо разрешить самостоятельное прохождение курсов повышения, которые находились в его зоне ответственности. Конечно, скорость в изучении новых вещей — это не все, но мне кажется, что это важный элемент. Опять-таки это мнение, но несомненно, что вы не захотите иметь дело с очень медленными учениками.

Мы можем сказать, ЧТО мы делаем, но это не одно и то же, ЧТО мы должны делать. Основная проблема в оценке ценности CAI заключается в том, что мы не готовы говорить, что такое образованный человек и как мы сейчас достигаем этого состояния (если мы достигаем!). Поэтому, я могу рассказать лишь еще несколько анекдотов.

Звучит здорово, но обратимся к истории, которую я рассказывал вам о своем друге Кайзере. Рассмотрим такое утверждение: хороший графический материал оказывает значительную помощь в изучении базовых концепций. Здесь необходимо отметить, что Кайзер был очень умным человеком, но его образование ограничивало его в том, что он изучил. Он, изучив теорию фильтров с точки зрения времени и напряжения, не смог справиться с независимой переменной — энергией. Чем лучше мы внедряем идею с картинками, нарисованными профессором, тем больше мы препятствуем тому, чтобы ученик позже распространил идеи на совершенно новые области, о которых не думал профессор (и не заложенные им в картинки).

В самом начале Второй Мировой войны я преподавал курс по вычислениям в инженерной школе Луисвилла. Позвольте мне рассказать историю про так называемую теорию «трансфер обучения» — применение идей из одной области знаний в идеи другой области знаний. С разрешения декана я решил посетить урок, чтобы понять причины плохой успеваемости студентов. У студентов возникли проблемы с курсом по термодинамике, который преподавал декан инженерного факультета, бывший командующий подводной лодкой, к тому же пугающий студентов. И вот декан пишет на доске следующую формулу:

image

В аудитории тишина, никто не знал ответа. и спрашивает, что она означает. Через несколько часов на своем занятии я написал на доске

image

Когда я написал на доске и студенты уже знали ответ: это был логарифм x плюс константа.

image

“Почему же вы не ответили на этот вопрос на занятии у декана?”, спросил я у студентов. студенты снова знали ответ. Звучит странно, но это и называется “трансфером обучения”, то есть способность использовать одинаковые идеи в новой ситуации. Дело в том, что то, что они знали в одном конкретном классе в один конкретный час у одного конкретного профессора, не перенеслось в знание в другой конкретный час в другом классе у другого профессора. Благодаря этой теории я внес значительный вклад в развитие Bell Telephone Laboratories, я делал это довольно часто, хотя, конечно, я не знаю, сколько шансов я упустил.

Студенты способны замечательно запоминать свой путь посредством большого количества занятий по математике, и у многих это действительно получается. Давайте теперь вернемся к моему курсу по вычислениям, который я часто преподавал в Военно-морской аспирантуре, хотя эти мысли сформировались у меня задолго до этого. Они должны научиться распознавать Но когда я перехожу к аналитической интеграции (я даю студентам функцию и спрашиваю их об ее неопределенном интеграле), они не могут запомнить свой путь из курса, по которому я их обучаю.

image

Впервые в своей карьере они вынуждены учиться распознавать формы, не зависящие от конкретного представления, что в свою очередь является основной чертой математики и общего интеллекта. в любых бесконечных ситуациях. Студенты должны осваивать приемы абстрактного распознавания образов, если они хотят и дальше прогрессировать, и использовать математические модели на протяжении своей дальнейшей карьеры. Изъятие аналитической интеграции из курса или ее перенос в подпрограммы на компьютер означает крушение идеи этапа изучения, по моему мнению, чего-то существенного до тех пор, пока что-то эквивалентно сложное не будет придумано и внедрено.

Департамент образования запустил начальную школу для проведения исследований. Очень похожая ошибка была сделана много лет назад, когда я был студентом в Университете Чикаго. Что они, собственно, и сделали. Они обнаружили, что студенты учатся читать по слогам, а не по буквам, и поэтому они решили пропустить изучение алфавита и приступить сразу к чтению. В их теперешнем возрасте было практически невозможно заставить их так выучить наизусть алфавит, чтобы они с легкостью могли использовать подобные источники информации. Все шло довольно хорошо до конца средней школы, когда они обнаружили, что студенты не знают алфавит полностью и поэтому они не могут эффективно использовать словари, телефонные справочники и т.д. Поэтому я с осторожностью отношусь к предлагаемым изменениям до тех пор, пока последствия этих изменений не будут тщательно изучены посредством долгосрочных прогнозов всех необходимых потребностей в материале, который планируется пропускать.

Я верю, что в низкоуровневых ситуациях, обычно ассоциируемых с тренировкой, где требуется наличие условного рефлекса, компьютеры внесут значительный вклад в улучшение процесса обучения. Подведем итог. образования, то здесь я настроен скептически, главным образом потому, что мы сами не имеем представления ни о том, что мы хотим делать, ни о том, что мы делаем в настоящее время. Что касается высокоуровневого мышления, т.е. Без этого знания как я могу судить об успешности предлагаемых решений? Сейчас мы просто не знаем, что мы имеем ввиду, когда говорим “образованный человек”, не говоря уже о значении этого выражения к 2020 году. Эксперты редко вносят значительный вклад в развитие данного направления, значительный прогресс обычно приходит со стороны. Организации и университеты должны исследовать огромную область знаний, существующую между низкоуровневым обучением и высокоуровневым образованием. Роль CAI в организациях, широко применяющих обучающие программы, будет возрастать, поскольку прогресс приводит к постоянному устареванию старых и созданию новых, как правило, более технически сложных к использованию инструментов. Мы это еще обсудим с вами в Главе 26.

Компьютеры могут взять на себя большое количество мелких задач, отгородить от них игрока и при этом предоставлять полезные высокоуровневые решения. Рассмотрим компьютерные программы, которые призваны обучать таким дисциплинам, как управление бизнесом или, что еще более серьезно, военному делу. Как было отмечено в трех главах, посвященных симуляции, нам также необходимо знать, подходит ли симуляция для решения будущих задач, для которых, собственно, и предназначена тренировка. В процесс также необходимо включать некоторые элементы низкоуровневого обучения, а также мышление более высокого уровня. Однако вы можете быть уверены, что, если даже предлагающие подобные программы люди не смогут ответить на эти вопросы, они все равно будут создавать и рекламировать соответствующие программы. Приведет ли наличие и, возможно, распространение игровых программ к ухудшению качества обучения? Вы можете стать жертвой неправильного обучения!

Это было базовым образованием, с помощью которого англичане, например, создали империю. Несколько сотен лет назад стандартное высшее образование заключалось в обучении чтению, письму и разговорному латинскому языку, а также, в меньшей степени, обучении греческому языку и знанию классики. Я твердо убежден, что будущее образование будет иметь настолько мало общего с нынешней системой образования, насколько нынешняя система отличается от классической. Наша нынешняя система образования имеет очень, очень мало общего по сравнению с классической системой. Без четкого представления о том, какое образование будет актуально к тому времени, как мы должны оценивать предлагаемые проекты CAI? Попытка внести незначительные изменения в нашу нынешнюю систему образования не поможет решить проблему, с которой мы сталкиваемся при подготовке студентов к 2020 году, когда настольные компьютеры становятся одинаково доступными и обладают огромными емкостями для хранения и обработки информации. Мы должны создать видение того, каким будет образованный человек в будущем, и только тогда мы сможем уверенно подойти к проблемам, которые возникают при CAI. Просто потому, что что-то может быть сделано, особенно используя компьютеры, не означает, что это должно быть сделано.

Продолжение следует...

Кто хочет помочь с переводом, версткой и изданием книги — пишите в личку или на почту magisterludi2016@yandex.ru

Кстати, мы еще запустили перевод еще одной крутейшей книги — «The Dream Machine: История компьютерной революции»)

(переводим по 10 минут, первые 20 уже взяли) Особо ищем тех, кто поможет перевести бонусную главу, которая есть только на видео.

Содержание книги и переведенные главы

Предисловие

  1. Intro to The Art of Doing Science and Engineering: Learning to Learn (March 28, 1995) Перевод: Глава 1
  2. «Foundations of the Digital (Discrete) Revolution» (March 30, 1995) Глава 2. Основы цифровой (дискретной) революции
  3. «History of Computers — Hardware» (March 31, 1995) Глава 3. История компьютеров — железо
  4. «History of Computers — Software» (April 4, 1995) Глава 4. История компьютеров — Софт
  5. «History of Computers — Applications» (April 6, 1995) Глава 5. История компьютеров — практическое применение
  6. «Artificial Intelligence — Part I» (April 7, 1995) Глава 6. Искусственный интеллект — 1
  7. «Artificial Intelligence — Part II» (April 11, 1995) Глава 7. Искусственный интеллект — II
  8. «Artificial Intelligence III» (April 13, 1995) Глава 8. Искуственный интеллект-III
  9. «n-Dimensional Space» (April 14, 1995) Глава 9. N-мерное пространство
  10. «Coding Theory — The Representation of Information, Part I» (April 18, 1995) Глава 10. Теория кодирования — I
  11. «Coding Theory — The Representation of Information, Part II» (April 20, 1995) Глава 11. Теория кодирования — II
  12. «Error-Correcting Codes» (April 21, 1995) Глава 12. Коды с коррекцией ошибок
  13. «Information Theory» (April 25, 1995) (пропал переводчик :((( )
  14. «Digital Filters, Part I» (April 27, 1995) Глава 14. Цифровые фильтры — 1
  15. «Digital Filters, Part II» (April 28, 1995) Глава 15. Цифровые фильтры — 2
  16. «Digital Filters, Part III» (May 2, 1995) Глава 16. Цифровые фильтры — 3
  17. «Digital Filters, Part IV» (May 4, 1995) Глава 17. Цифровые фильтры — IV
  18. «Simulation, Part I» (May 5, 1995) Глава 18. Моделирование — I
  19. «Simulation, Part II» (May 9, 1995) Глава 19. Моделирование — II
  20. «Simulation, Part III» (May 11, 1995) Глава 20. Моделирование — III
  21. «Fiber Optics» (May 12, 1995) Глава 21. Волоконная оптика
  22. «Computer Aided Instruction» (May 16, 1995) Глава 22. Обучение с помощью компьютера (CAI)
  23. «Mathematics» (May 18, 1995) Глава 23. Математика
  24. «Quantum Mechanics» (May 19, 1995) Глава 24. Квантовая механика
  25. «Creativity» (May 23, 1995). Перевод: Глава 25. Креативность
  26. «Experts» (May 25, 1995) Глава 26. Эксперты
  27. «Unreliable Data» (May 26, 1995) Глава 27. Недостоверные данные
  28. «Systems Engineering» (May 30, 1995) Глава 28. Системная Инженерия
  29. «You Get What You Measure» (June 1, 1995) Глава 29. Вы получаете то, что вы измеряете
  30. «How Do We Know What We Know» (June 2, 1995) переводим по 10 минутным кусочкам
  31. Hamming, «You and Your Research» (June 6, 1995). Перевод: Вы и ваша работа

Кто хочет помочь с переводом, версткой и изданием книги — пишите в личку или на почту magisterludi2016@yandex.ru

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть