Тема 8. Эксперимент (24/34, 4/6)

Здравствуйте.

Мы уже прояснили многие аспекты в отношении экспериментов вообще и их планирования в частности.  В прошлом ролике мы рассмотрели вопросы системности эксперимента, оставив в стороне один немаловажный пункт: ожидаемые результаты. Эксперимент, для которого не определены ожидаемые результаты, не может считаться спланированным системно.

Для каждого положения, подлежащего проверке на практике, должны быть сформулированы ожидаемые результаты и критерии, на основании которых планируется интерпретировать фактические результаты.

Это обязательно нужно сделать именно до проведения эксперимента, сформулировать ожидаемые результаты «задним числом» на основе фактических – не только нечестно, но и нерационально, ведь, моделируя предполагаемые результаты, можно существенно сократить объем действий за счет устранения избыточных или непоказательных опытов. Кроме того, прогнозируемые результаты формулируются путем рассуждения, и, отказываясь от этого, исследователь лишает себя подтверждения своей гипотезы обоснованием другого типа.

В основе такого описания «ожидаемого» результата через фактический или даже более распространенной ошибки – отсутствия описания ожидаемых результатов вообще – не всегда лежит опасение, что результаты не сойдутся. Как правило, исследователь, наоборот, уверен в том, что, двигаясь в указанном научным руководителем направлении, он получит единственно возможный результат и все, что от него требуется, – это его, собственно, получить и затем описать. Такой способ постановки эксперимента исключает полноценный анализ результатов. Максимум, для чего он условно приемлем (то есть результат не обесценен полностью), – это выработка «подхода», то есть некоторого решения задачи без оценки его параметров (грубо называемых «оптимальностью»).

Это, к слову, не означает, что выработка подхода – всегда заведомо «слабый» результат, к которому даже применяются сниженные требования. Отнюдь нет. Выработка подхода может быть совершенно нетривиальной и даже революционной задачей, если до сих пор для решения задач данного класса не было предложено ни одного подхода. И в этом случае, однако, желательно сформулировать ожидаемые результаты, это заметно усилит убедительность гипотезы.

Проработка методики эксперимента

После формулировки предпосылок гипотезы, самой гипотезы, ее параметров, подлежащих проверке, ожидаемых результатов и критериев оценки фактических результатов можно переходить непосредственно к методике эксперимента.

Слово «после» здесь несет довольно условный смысл, так как особенности процесса исследования иногда диктуют определенные перестановки и итеративные изменения изначально планируемых параметров, которые, конечно, невозможно оговорить в рамках краткого курса.

Во многом перечисленные параметры детерминируют и состав необходимых действий, и их последовательность, и даже инструментальную базу. Однако, безусловно, за пределами этого «во многом» остается еще очень большое количество нюансов, подлежащих тщательной проработке.

Как правило, необходимо спроектировать, обосновать и затем фактически построить какой-то стенд или иную инструментальную среду. То, в каких условиях и с применением какого оборудования (приборов, инструментов, программных средств и материалов) будет проводиться работа, должно быть обдумано заранее и убедительно мотивировано в тексте работы. Несоответствие инструментария задаче – существенная методическая ошибка, особенно важная при решении инженерных задач, так как выбор инструментария является одним из критериев оценки квалификации исполнителя.

В зависимости от содержания исследования тут могут быть важны разные особенности. Например, в случае, если требуется выявить отличительные черты предмета исследования, для чего, как уже упоминалось, большое значение имеет репрезентативность выборки экземпляров, с которыми проводится опыт, наличие, адекватность задаче и репрезентативность «референсной группы», с которой тот же опыт будет проводиться для сравнения, необходимо очень точно определить, сформулировать и подготовить условия, в которых производятся измерения (в широком смысле этого слова – не обязательно, конечно, это буквальные измерения чего-либо). Ведь они должны, с одной стороны, быть релевантны проверяемому параметру (вспомним опыт со слухом таракана), а с другой – корректно учитывать разницу между объектами основной и референсной групп (например, аппетит кошек и собак, вероятно, различается довольно значительно и должен измеряться по-разному).

Для работ, результатом которых является «подход», сравнение не будет необходимой составляющей экспериментальной части, в таком исследовании достаточно продемонстрировать, что предлагаемое в принципе реализуемо. В этом случае повышенного внимания требует соответствие входных данных и условий тем, что были заявлены в гипотезе.

Например, в случае с рассмотренной выше гипотезой о том, что устройства с Новой гарвардской архитектурой будут иметь вирусный иммунитет, результат исследования будет связан с выработкой подхода. В зависимости от деталей это могла бы быть выработка подхода к обеспечению «вирусного иммунитета», могла бы быть выработка подхода к обеспечению защиты от записи в долговременную память компьютера или, как фактически было в случае, по мотивам которого составлен этот пример, – подход к проверке эффективности обеспечения «вирусного иммунитета» путем запрета записи в долговременную память посредством физического перевода микросхемы в режим RO. Именно так дело обстояло потому, что подходы к обеспечению «вирусного иммунитета» и к обеспечению защиты от записи уже были выработаны, и это предопределило задачу очередного этапа целого куста исследований в рамках открытого таким образом научно-технического направления: обоснование (или опровержение) этого подхода. Качественно новый подход невозможно проверить существующими средствами, требуются выработка и обоснование подходов и методик к его проверке. Именно это и стало задачей исследования.

Это долгое уточнение задачи исследования приведено для того, чтобы проиллюстрировать, какие именно детали гипотезы должны были непременно найти отражение во входных и выходных данных эксперимента.

А именно, необходимо было учесть возможность изменения условий, влияющих (способных влиять) на микросхему памяти, – уровня питания, температурных условий, близких к граничным, etc.

Полезность эксперимента

После окончания эксперимента и получения всех экспериментальных данных по сформулированным в постановочной части критериям фактические результаты должны быть сопоставлены с ожидаемыми и сделаны соответствующие выводы, объясняющие фактические результаты и их корреляцию с ожидаемыми. Представление просто экспериментальных данных, как есть, без их анализа является не научным результатом, а только научным материалом.

В следующем ролике рассмотрим вопросы, связанные с описанием уже проведенного эксперимента.