Тема 8. Эксперимент (25/34, 5/6)

Здравствуйте.

Мы заканчиваем знакомство с экспериментами.

В этом ролике подведем итоги темы, а в следующем остановимся на вопросах планирования эксперимента в смысле математической статистики. Тогда же и объясню, почему. А сейчас –

Описание эксперимента

Требования к описанию эксперимента (экспериментальной части) в тексте научной работы продиктованы здравым смыслом. Описание эксперимента в работе должно отражать то, что он поставлен, спланирован и проведен правильно. На практике это означает, что эта часть должна быть написана очень подробно.

Обоснование всех методических приемов

Неверно оставлять за рамками конечного текста механику принятия решений, особенно решений об отклонении каких-либо вариантов (вариантов чего угодно, это зависит от предмета исследования).

То, что привело к отказу от чего-либо, сужению выбора, к тому, что из рассмотрения были исключены какие-то объекты, должно быть обязательно аргументировано в работе явно.

Все случаи, когда исследователь использовал экспериментальные данные из других исследований, а не собственные, должны быть описаны недвусмысленно. Возможность использования чужих результатов должна быть обоснована или сформулированы ограничения, которые должны быть учтены при интерпретации. При этом важно понимать, что следует обосновать не только качество чужого результата, но и релевантность проведенного в других условиях эксперимента вашей задаче. Иными словами, необходимо сравнить условия чужого эксперимента с теми, которые характеризуют ваш эксперимент, и установить либо их соответствие, либо поправки, которые необходимо применить к результату в связи с разницей условий.

Если же это отдельно взятый эксперимент, выявляющий какие-то дополнительные параметры, не находящиеся в каких-то зависимостях от того, что исследуется в вашей экспериментальной части, то, во-первых, скорее всего, это говорит о том, что не так уж этот параметр нужен для исследования, и стоит рассмотреть возможность вообще отказаться от этого материала, чтобы не останавливаться на обосновании второстепенных данных, а во-вторых, нужно убедиться, что условия, в которых эти данные получены, соответствуют задаче вашего исследования.

Например, при исследовании вопроса о том, какой из нескольких, отобранных по основным формальным признакам, брокеров наилучшим образом подходит для решения определенного класса задач, в качестве одного из параметров сравнения приводятся результаты измерений производительности, почерпнутые из литературы, а не сделанные самостоятельно. Эти данные не становятся решающим аргументом, более того, они вообще при выборе не учитываются (выбрано средство с худшим показателем), а по одному из сравниваемых брокеров и вовсе не приводятся. В то же время этот явно лишний материал дает почву для компрометации методологического подхода автора, который «сравнивает» показатели, полученные на разном оборудовании и без учета важных для оценки условий (даны сведения только о процессоре, но не о каналах, количестве абонентов, параллельности или последовательности посылок и т.д.). От исключения этих сведений работа только выиграла бы.

Описание результатов

Полнота

Неоднократно уже упоминалась ценность отрицательных результатов для научного труда. Такие результаты, в том числе если они показывают неприменимость способов или инструментов исследования, непременно должны быть включены в текст исследования.

Возникает закономерный вопрос, где же проходит граница разумной «научной честности», ведь здравый смысл подсказывает, что где-то надо остановиться и то, что связано, например, с откровенными ошибками исследователя, в работу все-таки не помещать. Однако именно из этого желания оставить в работе «только правильное» проистекают методические ошибки описания экспериментальной части.

Вообще говоря, каждый исследователь сам отвечает себе на этот вопрос и проводит границу так, как считает правильным. Мне представляется рациональным такой способ: если проделанные действия поддаются разумному объяснению и даже после получения отрицательного результата вы можете четко объяснить, почему и для чего это было сделано и сделано именно так, – то это результат, а не ошибка и его имеет смысл описывать.

Отдельно хочется сказать о собственно «отрицательном результате» и о том, насколько и в каких случаях он приемлем.

Чтобы уяснить этот вопрос, необходимо разделить, о результате чего идет речь в каждом конкретном случае. Отрицательный результат исследовательской процедуры, проверки чего-либо, эксперимента – это важные научные данные, которые не должны недооцениваться, а тем более – замалчиваться. Иначе с отрицательным результатом исследования в целом: он, как правило, говорит о наличии какого-то методологического сбоя. Ведь исследование не состоит из какой-то одной процедуры, это комплексная работа по проверке гипотезы, выдвинутой на каких-то основаниях, проверенной разными способами, с опорой на различные методы и инструменты. Если все это проделано аккуратно и исследователь учитывает результаты каждого шага, корректируя в соответствии с ними свои следующие действия, то исследование в целом не может получить отрицательного результата – гипотеза будет скорректирована своевременно.

Поэтому для квалификационных работ отрицательный результат не приветствуется и является из ряда вон выходящей ситуацией, говорящей, скорее всего, о неверном планировании исследования. В НИР отрицательный результат может быть, и он исследователя не скомпрометирует, так как может предполагаться самой постановкой задачи. В частности, если задача – проверить применимость какого-то подхода к реализации, то ответ «не применим» вполне законен и, по сути, не является отрицательным. Для реферата же он и вовсе считается нормальным: если задачей реферата было оценить степень разработанности проблемы, то качественный анализ источников вполне может показать, что проблема не разработана, предложенные подходы не снимают ее или среди позиций, выражаемых исследователями нет даже минимально близкой к тому, чтобы считаться общепринятой. Такой результат тоже не следует считать отрицательным – задача решена и ответ получен.

Анализ и интерпретация

В заключение этой темы несколько слов об интерпретации результатов. В первую очередь, самое главное – она должна быть. Всегда, даже если результат, как кажется исследователю, «говорит сам за себя» (часто так кажется в тех случаях, когда результатом является работающая программа или устройство – вроде бы, чего же еще). Результат обязательно должен быть в явной форме сопоставлен с ожидавшимся, проанализированы все отклонения, сделаны выводы об их причинах и целесообразности уточнений, которые позволят уменьшить нежелательные отклонения или, напротив, усилить те, что «в лучшую сторону».

В целом, чем больше выводов разного характера вы способны сделать из собственных действий, тем лучше для квалификационной работы.

Способность обозначить дальнейшие перспективы работы тоже хорошо характеризует исследователя, однако это не касается случаев, когда он что-то «не успел», у него не оказалось чего-то нужного или он «пока» сделал в том или ином смысле «плохо», но потом можно улучшить.

Все эти обстоятельства обнаруживают методические ошибки в постановке экспериментальной части – исследователь неверно оценил время и спланировал работу, неверно выбрал инструментарий (раз нужного в результате у него не оказалось, а замену он подобрать не смог), неправильно сформулировал задачу (раз сам потом сделал замечания к полученному решению). Оправданием для такого рода обстоятельств в некоторых (но не во всех) случаях может послужить детальное описание эксперимента, из которого будут очевидны причины отступлений от намеченной изначально схемы. Но, прибегая к этому способу, необходимо понимать, что обоснование своих проблем может оказаться сложнее и более трудоемким, чем принятие мер по устранению недоработок. Это очень распространенная ошибка начинающих исследователей – подмена исходной задачи на задачу оправдания ее невыполнения или ненадлежащего выполнения. Опыт подсказывает, что переделать зачастую быстрее и проще.

Наконец, последнее важное соображение, которое кажется самоочевидным, но это не мешает упускать его при написании экспериментальной части исследования. Коль скоро задача этой части – обосновать некоторую выдвинутую в начале гипотезу, в конце эта гипотеза должна быть подкреплена (в идеальном случае – доказана, но зачастую на деле она может стать только более правдоподобной, и это хороший научный результат) или опровергнута. Если в конце главы не подводятся итоги в отношении гипотезы, это методологическая ошибка. Крайне желательно это сделать в явном наглядном виде. Следует четко показать, какой ответ на поставленный вопрос дал эксперимент, подтверждена ли гипотеза и оправдала ли себя методика.

Итак, суммируем вышеизложенное в виде коротких пунктов.

1. «Практическая» часть НИР или дипломной работы должна быть экспериментальной. То есть являться проверкой некоторой гипотезы, связанной с решением научной проблемы, лежащей в основе исследования.
2. Гипотеза должна быть явно сформулирована и увязана с проблемой.
3. Формулировка гипотезы должна соответствовать критериям научности, в первую очередь – теоретичности, совместимости и системности.
4. Гипотеза должна быть обоснованной – должны быть приведены предпосылки ее выдвижения. Предпосылки должны быть связаны с теоретической и реферативной частями исследования.
5. Должны быть явно сформулированы параметры гипотезы, подлежащие проверке. Перечень этих параметров должен быть мотивирован.
6. По каждому параметру должны быть аргументированно сформулированы ожидаемые результаты.
7. Должны быть сформулированы критерии оценки соответствия фактических результатов ожидаемым и заданы направления их интерпретации.
8. Должны быть описаны и аргументированы методики и инструментарий планируемых действий, включая не только стенд (с помощью чего делаем) и сценарии (как делаем), но и выборку объектов основной (с чем мы все это делаем) и референсной группы (с чем мы все это сравниваем).
9. Ход эксперимента должен быть описан как можно подробнее, все принимаемые решения мотивированы.
10. Фактические результаты должны быть получены по всем намеченным при планировании параметрам, иное должно быть обосновано.
11. Фактические результаты обязательно должны быть проинтерпретированы на предмет корреляции с ожидаемыми, а также на предмет причин и, что не менее важно, следствий отклонений от ожидаемых.
12. Итоги экспериментальной части должны содержать выводы, подкрепляющие или опровергающие выдвинутую гипотезу.

Добавьте этот список в папку со шпаргалками.