155
ЗА РУБЕЖОМ
ВРЕМЕННЫЕ ХАРАКТЕРИСТИКИ РЕШЕНИЯ ЗАДАЧ В УСЛОВИЯХ
ДИАЛОГА ЧЕЛОВЕКА С ЭВМ
О. К. ТИХОМИРОВ, А. Е. ВОЙСКУНСКИЙ
Факультет психологии МГУ им. М. В. Ломоносова
Одной из актуальных задач современного этапа развития психологической науки является расширение ее связей с практикой. Речь идет не только о таких традиционных областях общественной практики, как обучение и воспитание, диагностика нарушений оснхикй и их реабилитация, но и об освоении новых областей. К их числу относится использование ЭВМ в различных областях умственного труда человека.
В последние годы происходит выделение новой сферы прикладных психологических исследований, связанных с изучением профессиональных и личностных качеств пользователей ЭВМ. Ее содержание выходит за пределы того, что принято относить к инженерной психологии, которую обычно связывают с изучением деятельности операторов, работающих в автоматизированных системах управления. Психологический анализ деятельности пользователей ЭВМ имеет большое практическое значение. Многие из поднимаемых вопросов являются относительно новыми для психологической науки и требуют решения на базе общепсихологической теории. Однако для привлечения теоретических объяснений необходим, конкретный экспериментальный материал, который может быть получен лишь путем специально организованных экспериментов, проводимых в системах человек — ЭВМ.
В дайной работе рассматриваются экспериментальные данные, касающиеся временного аспекта взаимодействия пользователей с ЭВМ, который оказывает существенное воздействие на эффективность работы человеко-машинных систем. Оптимальное распределение временных отрезков в течение сеанса совместной работы пользователя с ЭВМ стало предметом ряда прикладных исследований. Они были вызваны к жизни в первую очередь необходимостью обоснования правомерности использования вычислительной техники в режиме разделения времени. Первые вычислительные системы с разделением времени появились в середине 60-х гг. [1], [3], [7], [81 [9], [10], [21], [28] ,[47]; тогда же начались сравнительные исследования пакетного и оперативного режимов взаимодействия пользователя с ЭВМ [12], [24], [26], [50], [54], [59]. Существенной частью этих исследований явился анализ временных параметров решения задач человеком в диалоге с ЭВМ. Целью их было выявление оптимальных условий деятельности пользователя в автоматизированных системах. Данные исследования пришли на смену более ранней тенденции, связанной исключительно с обеспечением эффективной загрузки ЭВМ. Тем самым указанные работы могут быть с полным правом, отнесены к числу первых разработок, посвященных человеческому фактору в области совместного решения задач в системах человек — ЭВМ.
Представляет интерес выделение нормативных временных оценок взаимодействия человека с ЭВМ, которые принимаются специалистами в качестве оптимальных с точки зрения воздействия на процесс решения задач человеком в диалоге с ЭВМ. Распространенным является мнение, что ответ ЭВМ на введенный пользователем запрос должен быть мгновенным, в пределах секунды или нескольких секунд. В качестве обоснования приводится соображение, согласно которому принцип «чем быстрее (отвечает ЭВМ), тем лучше (для пользователя)» соответствует психологическим особенностям осуществляемой человеком деятельности. Длительное ожидание ответа ЭВМ, как считается, способно нарушить ход умственной работы пользователя и вызвать в нем нежелание взаимодействовать с ЭВМ. Проблема же готовности пользователя к решению задач в диалоге с ЭВМ является одной из ключевых в области обеспечения оптимальных форм человеко-машинного взаимодействия. Однако нельзя не отметить, что временная сторона интеллектуальных процессов слишком мало известна психологам. Не зря отдельные авторы, рассуждая о возможности психологического обоснования эффективной временной структуры диалога человека с ЭВМ, предлагают брать за основу то бихевиористские данные относительно эффективности поступления обратной связи [35], то ритмическую структуру человеческого диалога [20]. [31]. [47], то сведения об особенностях кратковременной памяти человека и о скорости процессов извлечения информации из памяти [35], [42], то психологический материал о перцептивных и когнитивных стилях, о личностных характеристиках и о показателях креативности [65]. Предложения
156
такого рода носят скорее голословный, чем деловой характер.
Наибольший резонанс в рассматриваемой области получило исследование Р. Миллера [35], чьи выводы неоднократно воспроизводились в литературе [4], [5], [30], [32], [33], [65] как выражение психологического подхода к рассматриваемой проблеме. Определенное достоинство работы Р. Миллера заключается в попытке связать нормативное время реакции вычислительной системы с типами и уровнями выполняемой пользователем конкретной деятельности Следует отметить, что данная идея не получила в последующих исследованиях должного развития. Могут быть отмечены лишь работы [16], [46], в которых временные отрезки (иные, нежели у Р. Миллера) сопоставлялись с конкретными командами, посредством которых осуществлялось взаимодействие с ЭВМ, а также предложение [13] воспользоваться для характеристики этапов диалога человека с ЭВМ системой категорий взаимодействия, разработанной Р. Бейлсом [14] для анализа совместной деятельности в группах. Возвращаясь к Р. Миллеру, заметим, что он обосновывает правомерность разбиения сложно организованной деятельности на психологически завершенные действия. Р. Мил1 дер приводит нормативные оценки «реактивности» системы для 17 типов взаимодействий пользователя с ЭВМ. При этом он начинает с технических требований к длительности интервала между набором отдельных символов на клавиатуре и началом индикации их на экране (не более 0,1—0,2 с); скорости подтверждения, что начальная идентифицирующая пользователя информация (в простейшем случае — шифр или пароль пользователя) принята (менее 0,4—0,5 с); скорости выдачи пользователю следующей страницы текста (не более 1,0 с); скорости реакции системы на индикацию посредством светового пера (в течение 1—2 с). Представлены оценки и для более содержательных типов взаимодействий. Так, по мнению Р. Миллера, пользователь должен в течение 3 с получить уведомление о том, что вычислительная система в состоянии воспринять его запрос; в течение 2—4 с ЭВМ должна уведомить, что запрос, не содержит ошибок и потому может быть принят к выполнению; ответ на запрос, касающийся ранее запасенных сведений, должен поступить в течение 2 с; при необходимости поиска и сопоставления сведений, хранящихся в разных информационных массивах, временной интервал может увеличиться до 7—10 с; если поиск основывается на взаимосвязях между признаками, то нормативная длительность его определяется аддитивно: по 4 с для каждого набора признаков. При введении в ЭВМ небольшой программы (например, для решения некоторого уравнения) решение должно быть выдано в течение 15 с — иначе, по мнению Р. Миллера, работа пользователя не может считаться непрерывной. Автор затрудняется предложить нормативные оценки для существенно более сложных задач (связанных, например, с моделированием, управлением, проектированием в сфере производства или бизнеса), указывая лишь, что при этом длительность задержек ответа может достигать нескольких минут. Если работник периодически отчитывается в выполняемой им работе и получает следующее задание от автоматизированной системы управления, то это задание должно быть ему выдано в течение 10—15 с. Для ученика, работающего за терминалом с обучающей системой, новое задание должно поступать менее чем за 5 с. Решение системы о возможности допуска к работе с ней нового пользователя должно приниматься в течение 2 с; если при этом имеет место загрузка в ЭВМ программы и данных, решение может быть отложено на 5—15 с, а в отдельных случаях оно может занять минуту.
Таковы выводы, к которым приходит Р. Миллер. Как признает сам автор [35; 271], приводимые оценки временных интервалов совместного решения задач «угаданы» им на основании опыта работы в области экспериментальной психологии и нуждаются в экспериментальной верификации. В работе [36] обстоятельно обосновывается правомерность проведения аналогии между человеческой деятельностью, изучаемой психологами, и работой человеко-машинных систем. Выводы Р. Миллера часто воспринимаются как уже прошедшие верификацию и потому как вполне обоснованные психологические требования к продолжительности ответа ЭВМ на запрос пользователя. Согласно распространенной точке зрения, добиваться очень быстрых ответов ЭВМ — значит следовать психологическим рекомендациям в данной области [1], [5], [30], [31]. Так, обобщая опыт эксплуатации первых вычислительных систем с разделением времени, Г. Сакман [47] отмечает, что их «реактивность» не превышала в среднем 10 с (что, правда, выше предложенных Р. Миллером нормативных оценок). Имеются также исследования, в которых экспериментально доказывается, что короткое время ответа пользователю является условием высокопродуктивной работы человеко-машинной системы [62], [63]. В связи с этим считается целесообразным ограничивать доступ пользователей к системе, чтобы не перегружать ее и сохранять возможность быстрых ответов; однако при этом отмечается, что пользователи этим недовольны [27].
Стоит ли добиваться высокой «реактивности» системы за счет выстраивания очередей из потенциальных пользователей? Этот вопрос стоял, по-видимому, перед всеми разработчиками систем с разделением времени. Так что точка зрения, согласно которой ЭВМ должна отвечать быстро, не единственно возможная. Показательны исследования, проведенные в Линкольновской лаборатории Массачусетского технологического института [25], [37]. В рамках рассматриваемого экспериментального исследования испытуемые решали вычислительные и графические задачи в диалогическом взаимодействии с ЭВМ. При этом ответ вычислительной системы искусственно задерживался, пауза составляла (в среднем) 1, 3, 10, 30 или 100 с [37]. Результаты показали, что испытуемые сумели адаптироваться к меняющимся условиям
157
взаимодействия. Так, при увеличении времени ответа системы обмен сообщениями между пользователями и ЭВМ становился менее оживленным. Однако решение часто оставалось не более продолжительным, чем в условиях короткого времени реакции и большего числа запросов, направленных в ЭВМ. Таким образом, при удорожании цикла «запрос — ответ» испытуемые становятся экономнее, тщательно обдумывая необходимость и корректность вводимых в ЭВМ запросов. В специальном исследовании было показано, что при увеличении времени ответа ЭВМ изменения в деятельности испытуемых могут быть отнесены к стратегии решения, но не к его эффективности [37]. Эти данные хорошо коррелируют с результатами другого исследования [25], в котором задержка времени ответа ЭВМ составляла в среднем 1, 4, 16, 64 с. Существенным изменением методики проведения эксперимента было то, что средняя величина задержки ответа была неизвестна испытуемым (в отличие от предшествующего исследования), поэтому они не могли прогнозировать длительность конкретных пауз в диалоге с ЭВМ. Однако это не повлияло на результаты: испытуемые по-прежнему хорошо адаптировались к условиям взаимодействия, сокращая количество запросов по мере увеличения длительности задержки ответа.
Вывод о том, что скорость реагирования ЭВМ влияет не только на эффективность решения, но и на стратегию его достижения, поддерживается в [26]. Автор относит к недостаткам ряда исследований, посвященных сравнению пакетного режима и режима разделения времени, подбор экспериментальных задач. Действительно, решавшиеся испытуемыми в рамках многих исследований задачи могут быть охарактеризованы как относительно легкие. Данное обстоятельство способно скрыть различие подходов испытуемых к решению задачи при разных режимах взаимодействия с ЭВМ. Несмотря на многочисленные исследования [12], [24], [26], [48], [50], [54], [59], вопрос о предпочтительности режимов разделения времени или пакетной обработки (в настоящее время имеются системы с «быстрой» пакетной обработкой) остается в целом открытым. Мы предполагаем, что причина заключается в следующем: несложные задачи (часто учебного характера) позволяют испытуемым легко адаптироваться к условиям взаимодействия с ЭВМ без существенного снижения эффективности совместного решения.
С учетом высказанных замечаний более осмысленной становится роль психолога: конечно, не требование максимально быстрой «реакции» ЭВМ входит в его задачу (да и не от психолога это зависит), а определение наиболее эффективных стратегий и способов решения встающих перед пользователями задач и на этой основе рекомендации относительно временного режима взаимодействия с ЭВМ. Однако подобная постановка вопроса о психологической службе в рамках организации диалога человека с ЭВМ в литературных источниках не представлена.
В вычислительных системах с разделением времени ожидание пользователем ответа во многом зависит от сиюминутной загрузки системы. Поэтому время ответа — величина переменная. Более того, наблюдения показали, что именно неопределенность, малая предсказуемость времени ожидания ответа ЭВМ не устраивает пользователей [20], [40], [41], [47]. У. Найсер и Г. Саймон высказали мнение о том, что стабильное время ожидания предпочтительнее переменного (хотя в среднем более короткого) интервала. Существует также тенденция вводить в организацию диалога человека с ЭВМ искусственные задержки, обоснование, которой заключается в том, что пользователи не проявляют неудовлетворенность, если им неизвестны максимально быстрые режимы работы системы; другое обоснование заключается в том, что чрезмерно быстрый ответ системы ведет в ряде случаев к недоверию машинным данным. Пользователь ожидает некоторого соответствия между временем реакции машины и сложностью введенного им задания. А поскольку пользователь зачастую недостаточно хорошо знает возможности вычислительной техники, то его оценки сложности задания строятся на антропоморфной основе. В силу этого как моментальный ответ на субъективно сложный для человека запрос, так и неоправданная с точки зрения пользователя задержка ответа на запрос, субъективно представляющийся простым, в равной степени могут привести к возникновению недоверия машинным данным и к нежеланию взаимодействовать с ЭВМ. Данная проблема является особенно серьезной для современных АСУ. Таким образом, регулирование времени реакции системы способно существенно воздействовать на эффективность управления.
Еще одно обоснование тенденции вводить временные задержки в систему человек — ЭВМ было предложено Г. Сакманом [6], [24], [47—50]. Обобщая результаты проведенных им, а также другими исследователями [12], [54] экспериментальных работ, Г. Сакман установил, что типичный (по медиане числа наблюдений) интервал между получением ответа от ЭВМ и началом ввода пользователем следующего запроса составляет всего 10 с. Следует отметить, что некоторые более поздние исследования дали близкие результаты [46]. Г. Сакман делает вывод, что пользователи приходят к терминальному устройству вычислительной системы с хорошо продуманными, заранее подготовленными рутинными задачами; само же решение проблемы на понятийном уровне (включающее инсайт) имеет место вне взаимодействия с ЭВМ. Таким образом, согласно Г. Сакману, влияние времени реакции системы на пользователя может быть проанализировано лишь применительно к рутинным, а не к собственно творческим подзадачам. Увеличение же времени ответа ЭВМ способно, по мысли Г. Сакмана, удержать пользователя за терминалом, превратить решение задачи в подлинно совместное и тем самым решительно изменить отношение пользователей к вычислительным услугам.
158
В эксперименте [15] после выдачи ответа ЭВМ клавиатура запиралась (отключалась) на некоторые (переменные) отрезки времени с тем, чтобы воспрепятствовать пользователю немедленно приняться за формулирование следующего запроса и заставить его углубиться (хотя бы на то время, пока отключена клавиатура) в решаемую задачу, «концентрироваться на ней и, возможно, найти новые перспективные пути решения, отойдя от обдуманных заранее. Поднятый вопрос представляется чрезвычайно важным. Г. Сакман справедливо обращает внимание на то, что в ходе решения задач осуществляются разнообразные функции и временные интервалы при этом неизбежно будут различаться между собой. Хотя предлагаемая дифференциация недостаточно детализирована, следует согласиться с тем, что временные параметры диалога должны соответствовать специфике (в том числе и временной) осуществляемой человеком деятельности [4]. В связи с этим могут быть отмечены [11], [16], [18], [20], [46], [66] попытки учета временных характеристик деятельности пользователя в более полном объеме, нежели в работе [35], ограничившей временной аспект диалога человека с ЭВМ лишь «реактивностью» ЭВМ.
Так, обсуждается параметр, связанный с временем размышления пользователя — интервалом между окончанием ответа ЭВМ на запрос и введением следующего запроса. В течение данного интервала времени пользователь осмысливает полученное машинное сообщение, а также планирует, формулирует и подготавливает к введению в ЭВМ очередной запрос (и все эти действия могут отдельно анализироваться во временном аспекте [49; 149]). В одной из работ [46] приводятся данные, касающиеся времени размышления: хотя оно может длиться до 20 мин, но в 90% случаев оно не превышает 70 с; среднее значение составляет 33,2 с, а медиана — 12,7 с. Характерно, что эти результаты близки тем, которые были получены в более ранних экспериментах [10], проводимых в той же системе с разделением времени (в Массачусетском технологическом институте). Делаются попытки также установить зависимость между временем реакции ЭВМ и временем размышления пользователя [16], [18], [27]. Так, показано, что использование специальных языков взаимодействия с ЭВМ, а также различных устройств ввода-вывода оказывает серьезное влияние на соотношение выделенных временных интервалов [18]. Однако, на наш взгляд, подобная постановка вопроса требует несколько более обстоятельного рассмотрения.
В литературе неоднократно поднимался вопрос об использовании в области коммуникации человека с ЭВМ удобных для пользователей мнемонических кодов-обозначений, « разных формах кодов (полной и редуцированной) и о зависимости этих форм от подготовки и обученности пользователей [51], [53], [60], [68]. Определенное внимание уделяется языкам, посредством которых происходит взаимодействие с ЭВМ: универсальным, проблемно-ориентированным, ориентированным на пользователя или приближающимся к естественному языку. На смену эмпирическим сравнениям распространенных языков программирования, с точки зрения удобности их для пользователей [43], [52], [55], пришли исследования, опирающиеся на эксперимент и на психолингвистические данные [23], [39], [44], [45], [57], [58]. Наконец, могут быть отмечены исследования, в которых рассматривается зависимость эффективности взаимодействия от различных типов вводных устройств, причем алфавитно-цифровым устройствам уделяется существенно большее внимание, чем графическим средствам ввода [19], [31], [34], [38], [61], [67]. Представляется, что результаты исследований такого рода, будучи воплощены в системах человек — ЭВМ, окажут реальное воздействие и на временные режимы взаимодействия с ЭВМ.
В современных многомашинных и много процессорных вычислительных комплексах разрабатываются и внедряются специальные подсистемы, распределяющие фрагменты заданий пользователей по различным вычисли тельным устройствам, собирающие выполненные вычисления и комплектующие ответ пользователю. Для нас интересно то, что при этом прогнозируется, через какое время пользователь получит ответ. Прогноз строится на основе весьма точных оценок длительностей выполнения различных видов работ всеми подсистемами вычислительного комплекса [17], [22], [56], а также на основе предсказаний о текущей и будущей загрузке этих подсистем. В рамках вычислительного комплекса АРПА (университет штата Иллинойс) разрабатывается подсистема, которая не только обеспечит равномерное время реакции системы, но и окажется способна выполнять еще одну функцию, весьма важную для пользователей [29[. Она будет указывать, каково самое короткое время ответа в условиях, присвоенного пользователю приоритета. А поскольку, по мысли исследователей, приоритетность выполняемой работы имеет денежный эквивалент, то фактически пользователю будет предоставлено право в определенных пределах самому назначать приемлемое для него время реакции комплекса путем назначения устраивающей его цены [29].
Полезность подобных подсистем показывает опыт корпорации ИБМ [27]. Для каждого пятиминутного интервала вычисляются средние значения времени реакции. При этом пользователю указывается даже, какие операции будут выполняться в ближайшие 5 мин быстрее, а какие медленнее (что связано с неравномерной загрузкой различных подсистем). Отмечается [27], что подобная мера уменьшила фрустрированность пользователей, которые получили возможность лучше планировать работу и распоряжаться своим рабочим временем. Это признается благоприятным фактором, ибо фрустрация, как резонно полагают специалисты, — это психическое явление, имеющее также и экономический аспект [63]. В качестве иллюстоации
159
может быть упомянуто небольшое исследование, которое выявило программистов, для которых «мертвое время» составляло треть рабочего дня [64].
Изучение временных характеристик решения задач в режиме диалога между человеком и ЭВМ по существу выделилось в специальную область исследования и учета человеческого фактора в системах человек — ЭВМ. Содержание человеческого фактора в рассматриваемом контексте раскрывается в таких характеристиках, как фрустрация, нарушенность или ненарушенность умственной деятельности пользователя, желание или нежелание работать с ЭВМ, удовлетворенность или неудовлетворенность работой с ЭВМ, доверие или недоверие по отношению к машинным данным и т. д. Легко видеть, что доминирующее значение: приобретают мотивационно-личностные характеристики. Вместе с тем открываются перспективы экспериментальных исследований, направленных на дальнейшую детализацию используемых характеристик. Результаты таких исследований помогут устранить определенные несоответствия между выводами, к которым приходят разные авторы. Необходима также унификация репертуара временных показателей, которыми пользуются исследователи. Так, выделяются: 1) время ответа системы на запрос, 2) время размышления пользователя, 3) время введения запроса в ЭВМ, 4) субъективные представления пользователя о вредных характеристиках диалога с ЭВМ, 5) продолжительность сеанса взаимодействия пользователя с ЭВМ, 6) суммарное время обработки системой всех запросов пользователя и т. д. Предлагаются также некоторые второстепенные показатели. Следует ожидать, что ведущаяся в настоящее время работа по методологическим вопросам оценки и измерения процессов решения задач системой человек — ЭВМ поможет решить некоторые из поставленных вопросов [11], [66].
Еще на начальном этапе исследований в данной области наметилась тенденция к тому, чтобы связывать временные показатели взаимодействия человека и ЭВМ с типом и сложностью деятельности, со значимостью (ценностью) выполняемой работы, а также использовать данные о временных параметрах диалога для оперативного управления этим диалогом и на этой основе — для повышения продуктивности и эффективности систем человек — ЭВМ. Тем не менее современный этап исследований характеризуется, на наш взгляд, тем, что временные характеристики диалога еще недостаточно соотнесены с содержательными характеристиками сообщений, которыми обмениваются человек и ЭВМ, а также со спецификой деятельности по решению основной задачи. Есть основания считать [2], что на разных стадиях решения сложной мыслительной задачи требования к временным параметрам взаимодействия с ЭВМ будут разными. Актуальной является задача системного представления диалога человека с ЭВМ (в том числе и всевозможных временных показателей диалога), опирающегося на дифференцированные психологические характеристики решаемых пользователями задач.
1. Аллен Б. Развитие вычислительных систем с разделением времени. — В кн.: Новое в теории и практике управления производством в США. — М., 1971, с. 54—66.
2. Бабаева Ю. Д., Белавша Pi. Г., Войскунский А. Е. Теоретико-экспериментальное исследование ритма коммуникации в системах «человек — ЭВМ». — В сб.: Человеко-машинные системы. М., 1977, с. 130— 135.
3. Бертэн Ж., Риту М., Ружие Ж. Работа ЭВМ с разделением времени. — М, 1970. — 206 с.
4. Ломов Б. Ф. О путях построения теории, инженерной психологии на основе системного подхода. — В сб.: Инженерная психология. — М., 1977, с. 31—55..
5. Мартин Дж. Системный анализ передачи данных. Т. I, II. — М., 1975.
6. Сакман Г. Решение задач в системе человек — ЭВМ. — М„ 1973.— 351 с.
7. Системы с разделением времени / Под ред. У. Карплюса. — М., 1969. — 454 с.
8. Современное программирование. Мультипрограммирование и разделение времени.— М., 1970.— 344 с.
9. Уилкс М. Системы с разделением времени. — М., 1972.—123 с.
10. Шерр А. Анализ вычислительных систем с разделением времени. — М., 1970.— 135 с.
11. Abrams M. D., Treu S. A methodology for interactive computer service measurement. — Comm. ACM, 1977, v. 20, No. 12, p. 936—944.
12. Adams J., Cohen E. Time-sharing vs. instant batch-processing: An experiment in programming training. — Computers and Automation, 1969, v. 18, No. 3, p. 30—34.
13. Alter S. Why is man-computer interaction important for decision support systems? — Interfaces, 1977, v. 7, No. 2, p. 109—115.
14. Bales R. F. Interaction process analysis: A method for the study of small groups.— (Cambridge, Mass.: Addison-Wesley, 1950. —203 p.
15. Boehm B. W., Seven M. J., Watson R. A. Interactive problem-solving — an-experimental study of "lockout" effects. — AFIPS Com. Proc, 1971, v. 38, p. 205— 210.
16. Boies S. J. User behavior on an in teractive computer system. — IBM Syst. J., 1974, No. 1, p. 2—18.
17. Brow. R. M., Browne J. C, Chandy К. М. Memory management and response time. — Comm. ACM, 1977, v. 20, No. 3. p. 153—165.
18. Brown Т., Merer M. The effect of language design on time-sharing operational efficiency. — Int. J. Мйп-Machine Stut, 1975, v. 7, No. 2, p. 233—247.
19. Buchanan L, Duce D. A, An interactive benchmark for a multi-user minicomputer system.— ACM Sigmetrics, 1976,. v. 5, No. 4, p. 5—17.
160
20. Carbonell J. R., Elkind J. I., Nickerson R. S. On the psychological importance of time in a time sharing system. — Hum. Fact, 1968, v. 10 No, 2, p. 135—142.
21. Culler G. I., Fried B. D. The TRW two-station, on-line scientific computer: general description.— In: Computer Augmentation of Human Reasoning, Spartan Books, Washington, 1965, p. 65—87.
22. Estell R. G. How fast is "real-time»? — ACM Sigmetrics, 1976, v. 5, No. 4, p. 18— 20.
23. Goodenough J. B. The comparison of programming languages: A linguistic approach.—In: Proc. 23rd ACM Nat. Conf., 1968, p. 765—785.
24. Grant E. E., Sackman H. An exploratory investigation of programmer performance under on-line and off-line conditions. — IEEE Trans. Human Fact, in Electronics, 1967, v. 8, No. 1, pp. 33—48.
25. Grossberg M., Wiesen R. A., Interna D. R. An experiment on problem solving with delayed computer responses. — IEEE Trans. Systems Man, and Cybern., 1976, v. 6, No. , p. 219—222.
26. Hansen J V. Man-machine communication: An experimental analysis of heuristic problem-solving under on-line and batch-processing conditions. — IEEE Trans. Systems, Man and Cybern., 1976. v. 6, No. 11, p. 746—752.
27. Kelisky R. P. Managing interactive systems for user effectiveness. — Lecture Notes in Computer Sci, 1977, v. 49, p. 93— 107.
28. Kemeny J. G. The computer at Dartmouth. — In: W. D. Orr (ed.) Conversational Computers. New York, London, Sydney. Wiley, 1968, p. 189—194.
29. Mamrak S. A. Dynamic response time prediction for computer networks. — Comm. ACM, 1977, v. 20, No. 7, p. 461—468.
30. Martin J. Design of man-computer dialogues. Prentice-Hall, Englewood Cliffs, N. J., 1973. —559 p.
31. Meadow Ch. T. Man-Machine Communication. — N. Y. — L. — Sydney — Toronto. Wiley, .1970. — 422 p.
32. Miller L. A., Thomas J. C, Jr. Behavioral issues in the use of interactive systems. — Int. J. Man-Machine Stud., 1977, v. 9, v. 49, p. 509—536.
33. Miller L. A., Thomas J. C., Jr. Behavioral issues in the use of interactive systems. — Lecture Notes in Computer Sci., 1977, v. 49, p. 193—215.
34. Miller L. H. A study in man-machine interaction. — AFIPS Conf. Proc, 1977, v. 46, p. 409—421.
35. Miller R. B. Response time in man-computer conversational transactions. — AFIPS Conf. Proc. 1968, v. 33, pt. 1, p. 267—277.
36. Miller R. B. Archetypes in man-computer problem-solving. Ergonomics, 1969, v. 12, p. 559—581.
37. Morfield M. A. Wiesen R. A., Grossberg M., Yntema D. B. Initial experiments on the effects of system delay on on-line problem-solving. — In: Lincoln Lab., Mass. Inst. Technol., Technical Note ESD-TR-69-158, 1969, —61 p.
38. Morrill С S., Goodwin N. C., Smith S. L. User input mode and computer- aided instruction. — Hum. Fact., 1968, v. 10, p. 225—232.
39. Moyne J. A. Simple-English for data base communication. — Int. J. Computer and Information Sci., 1977, v. 6, No. 4, p. 327— 343.
40. Nickerson R. S. Man-Computer interaction: A challenge for human factors research. — Ergonomics, 1.969, v. 12, No. 4, p. 501—507.
41. Nickerson R. S., Elkind J. I., Carbonell J. R. Human factors and the design of time sharing computer systems. — Hum. Fact, 1968, v. 10, No. 2, p. 127—134.
42. Nosal С On psychological limitations for information processing in man-computer interaction (theoretical problems). — Prace Naukowe Institutu Cybernetyki Technicznej Politechniki Wroclawskiej, 1977, No. 51, p. 159—167.
43. Nutt G. J. A comparison of PASCAL and FORTRAN as introductory programming languages. — Sigplan Notices, 1978, v. 13, No. 2, p. 57—63.
44. Reisner Ph. Use of psychological experimentation as an aid to development of a query language. — IEEE Trans. Software Engineering, 1977, v. 3, No. 3, p. 218—229.
45. Reisner Ph., Boyce R. P., Chamberlin D. D. Human factors evaluation, of two data base query languages— Square and Sequel.— AFIPS Conf. Proc. 1975, v. 45, p. 447—452.
46. Rodriguez H. Jr. Measuring user characteristics on the multics system. MIT (LCS) TM-89, 1977, 52 p.
47. Sackman H. Computers, system science and evolving society. The challenge of man-machine digital systems. — N. Y.—L. — Svdnev: John Wiley and Sons, 1967.— 638 p.
48. Sackman H. Time-sharing and self-tutoring: An exploratory case history. — Hum. Fact, 1970, v. 12, p. 203—214.
49. Sackman H. Mass Information utulities and social excellence. — Auerbach Publ., 1971. 284 p.
50. Sackman H., Erikson W. J., Grant E. E. Exploratory experimental studies comparing online and offline programming performance. — Comm. ACM, 1968, .v, 11, No 1, p. 3—11.
51. Sammet,,.J. E. Programming languages: History and Fundamentals. — Prentice-Hall, Englewood Cliffs, N. Y. 1969.— 785 p.
52. Sammet J. E. Problems in, and a pragmatic approach to, programming language measurement. — AFIPS Conf. Proc, 1971, v. 39, p. 243—251.
53. Saxena К. В. С Enhancing system reliability through humanized codes. — In: M. Joseph, F. С Konli (eds.) SEARCC-76, Proc. IFIP Regional Conference, 1977. Amsterdam-New York—Oxford, p. 543—547.
54. Schatzoff. M., Tsao R., Wiig R. An experimental comparison of time sharing and
161
batch processing. — Соmm. ACM, 1967, v. 10, No. 5, p. 261—265.
55. Schwartz J. I. Comparing programming languages. — Computers and Automation, 1965, v. 14, No. 2, pp. 15—16, 26.
56. Silverman H. F., Yue P. C. Response time characterization of an information retrival system. — IBM J. Research and Development, 1973, v. 17, No. 5, p. 394—403.
57. Sime M. E., Arblaster А. Т., Green T. R. G. Structuring the programmer's task —J. Occupational Psychology, 1977, v 50, No. 3, p. 205—216.
58. Sime M. E., Green T. R. G., Guest D. J. Psychological evaluation of two conditional constructions used in computer languages.— Int. J. Man-Machine Stud., 1973, v. 5, No. 1, p. 105—113.
59. Smith L. B. A comparison of batch processing and instant turnaround. — Comm. ACM, 1967, v. 10, No. 8, p. 495—500.
60. Sonntag L. Designing human-oriented codes. — Bell Laboratories Record, 1971, v. 49, No. 2, p. 43—49.
61. Spence R., Apperley M. The Interactive-Graphic Man-Computer Dialogue in Computer-Aided Circuit Design, — IEEE Trans. Circuits and Syst, 1977, v. 24, No. 2, p. 49—61.
62. Streeter D. N. Cost-benefit evaluation of scientific computing services.— IBM Syst. J., 1972, v. 11, No. 3, p. 219—233.
63. Streeter D. N. Productivity of computer-dependent workers. — IBM Svst. J., 1975, v. 14, No. 3, p. 292—305.
64. Strizenec M. Phychological analysis of work and selection of computer operators and programmers. — Studia Psvchologica, 1973, v. 15, No. 3, p. 194—205.
65. Testa Ch. J. Behavioral factors in information systems. — Comput. and People, 1974, v. 23, No. 4, p. 13—17.
66. Treu S. Interactive command language design based on required mental work.— Int. J. Man-Machine Stud., 1975, v. 7, No. 1, p. 135—149.
67. Weeks G. D., Kelly M. J., Chapanis A. Studies in interactive communication: 5. Cooperative problem solving by skilled and unskilled typists in a teletypewriter mode. — J. Appl. Psychol., 1974, v. 59, No. 6, p. 665—674.
68. Weinberg G. M. The Psychology of computer programming. Van Nostrand Reinhold, 1971. —288 p.