Основные понятия: анализ документов, методы анализа документов,

Анализ документов (от лат. Documentum – доказательство, свидетельство) – метод сбора первичных данных, при котором документы используются в качестве главного источника информации.

Анализ документов открывает социологу возможность увидеть в отраженном виде многие стороны социальной действительности.

Однако чтобы использовать возможности, предоставляемые документами, следует в свою очередь получить системное представление о всем их многообразии. Ориентироваться в многообразии документов в наибольшей степени помогает классификация, основанием которой служит фиксация в том или ином документе содержащейся в нем информации.

По форме фиксации информация делится на:

Письменные документы (сведения изложены в форме текста);

Статистические данные (цифровая форма изложения);

Иконографическая документация (кино-, фотодокументация);

Фонетические документы.

Существуют самые разнообразные методы анализа документов . Самыми распространенными, прочно утвердившимися в практике социологических исследований является традиционный (классический) и формализованный (количественный).

Традиционный, классический анализ – это все многообразие умственных операций, направленных на интеграцию сведений, содержащихся в документе с определенной точки зрения, принятой исследователем в каждом конкретном случае. Традиционный анализ документов дает возможность проникнуть вглубь изучаемых явлений, выявить логические связи и противоречия между ними, оценить эти явления и факты с определенных нравственных, политических, эстетических и иных позиций. Слабостью традиционного анализа документов является субъективизм.

Стремление преодолеть субъективность традиционного анализа породило разработку принципиально иного, формализованного (количественного) метода анализа документов, или контент-анализа, как иногда называют этот метод.

Контент-анализ – это метод исследования, применяемый в различных дисциплинах, областях гуманитарного знания: в социальной и общей психологии, социологии и криминологии, исторической науке и литературоведении и др. нол развитие этого метода преимущественно связано с социологическими исследованиями. Там, где есть текст, документы, их совокупность, там возможно контент-аналатическое исследование.

Одна из особенностей контент-анализа состоит в том, что наибольшее применение он находит при изучении средств массовой информации. Также он используется и при анализе документов: протоколов собраний, конференций, межправительственных договоров и т. п. Этот метод часто используется спецслужбами.

При таком исследовании социолог по отдельному или отдельным фрагментам должен восстановить эмпирическое бытие идеологического или политического процесса, подчиненного сложным социальным закономерностям.

Прагматические модели контент-анализа глубже рассматривают исследуемые тексты. Они отходят от чисто описательной постановки вопроса и сосредотачивают внимание на тех признаках текста, которые прямо или косвенно свидетельствуют о позициях и намерениях автора. Специфика использования контент-анализа проявляется не в приемах счета единиц наблюдения, а в содержательном толковании самого объекта исследования.

Вместе с тем контент-анализу документов в определенной степени присуща своеобразная ограниченность, которая заключается в том, что далеко не все богатство содержания документа может быть измерено с помощью количественных (формальных) показателей.

Обширная практика использования контент-анализа в социологических исследованиях дает возможность определить условия, при которых его применение становится крайне необходимым:

При требовании высокой степени точности и объективности анализа;

При наличии обширного по объему несистематизированного материала;

При работе с ответами на открытые вопросы анкет и глубоких интервью, если категории, важные для целей исследования, характеризуются определенной частотой появления в изучаемых документах;

Когда большое значение для исследуемой проблемы имеет сам язык изучаемого источника информации, его специфические характеристики.

Надежность информации, полученной контент-анализом, обеспечивается следующими способами:

а) Обоснование полноты объема выделяемых смысловых единиц, предложенное В.Н.Каюровой, может быть доказано следующим образом.

Полигон наполнения текста смысловыми единицами контент-анализа как способ обоснования полноты объема выделения смысловых единиц:

Рис.3. Полигон наполнения текста

Первоначально выделяются все смысловые единицы ил первого анализируемого текста, далее из второго - те же плюс дополнительные, ранее не встречавшиеся, из третьего документа - опять те же, что уже встречались в двух предыдущих плюс дополнительные и т.д. После изучения очередных 3-5 текстов, в которых не попадается ни одной новой смысловой единицы, ранее фиксированной в предыдущих документах, можно полагать, что “поле” смысловых единиц из изучаемого массива исчерпано.

Из рисунка видно, что в итоге изучения 20 случайно отобранных из всего массива текстов было выделено суммарно 120 единиц контент-анализа, что исчерпывает “поле”, т.е. всю выборочную совокупность документов. Конечно, при изучении всего массива могут попасться новые смысловые единицы, относящиеся к предмету и ранее не предусмотренные. В этом случае они включаются в анализ дополнительно.

б) Контроль на обоснованность содержания смысловых единиц с помощью судей. Специалисты в данной области обсуждают, насколько предложенные качественные единицы соответствуют поставленным задачам.

В нашем исследовании 6 экспертов независимо друг от друга классифицировали 120 понятий, отнесенным к деловым и личностным качествам инженера, в 6 общих категории (творческие качества, исполнительские и т.д.), причем 86% понятий были классифицированы однозначно минимум четырьмя судьями. Остальные, более спорные, подвергались специальному обсуждению и после согласованного решения относились в соответствующую общую категорию.

в) Обоснованность по независимому критерию, например, данные контент-анализа дневников или сочинений учащихся с целью выявить их профессиональную склонность выборочно проверяются путем опросов, или по данным наблюдений, тестом по известной группе.

г) Устойчивость данных определяется при помощи кодирования одного текста разными кодировщиками на основе единой инструкции. Можно использовать стабильную единицу анализа и разные единицы счета (по частотам смысловых единиц и по физической протяженности одновременно).

Процедура подсчета. В общем виде процедуры подсчета при контент-анализе аналогичны стандартным приемам классификации по выделенным группировкам.

Контент-анализ относится к числу важных и весьма перспективных в связи с развитием вычислительной техники и средств научного познания.

5. Анализ документов: понятие, виды, особенности применения

Во всех современных обществах одним из важнейших средств оформления, фиксации, сохранения, передачи и обмена информации являются документы. Для отдельного человека - это свидетельство о рождении, паспорт, удостоверение личности, аттестат зрелости, диплом о высшем образовании и т.п. Для семьи - это свидетельство о бракосочетании. Для университета или исследовательского института - это его устав. Для политической партии - ее программа и устав, для государства - это Конституция страны и ее законы.

В своем отношении к документам социология исходит из того, что они представляют собой важный источник социальной информации, и вместе с тем результат осмысления и определенного оформления знаний об определенной сфере, социальной структуре или ячейке общества, об их отношениях к другим структурам, сферам и ячейкам. Анализ документов позволяет социологу выявить определенные особенности, свойства и взаимосвязи тех или иных социальных явлений и процессов, специфику включения в них различных индивидов, групп и общностей, распознать нормы, ценности, идеалы, которыми руководствуются на различных этапах развития общества и в различных социальных ситуациях, проследить динамику развития тех или иных социальных слоев и групп, их взаимоотношений друг с другом, а также с государством, культурой, религией, политическими партиями и т.п., выявить основные тенденции и пропорции социального развития.

Анализ документов - один из широко применяемых и эффективных методов сбора и анализа первичной информации. Анализ документов открывает социологу возможность увидеть в отраженном виде многие стороны социальной действительности.

Анализ документов (от лат. Documentum – доказательство, свидетельство) – метод сбора первичных данных, при котором документы используются в качестве главного источника информации.

Документы - это печатные, рукописные и т.п. материалы, которые создаются для хранения информации.

Однако чтобы использовать возможности, предоставляемые документами, следует в свою очередь получить системное представление обо всем их многообразии. Ориентироваться в многообразии документов в наибольшей степени помогает классификация, основанием которой служит фиксация в том или ином документе содержащейся в нем информации.

По общей значимости документы обычно делятся на:

1) официальные (законы, указы, декларации, распоряжения и т.п.);

2) неофициальные (личные заявления, письма, жалобы, дневники, семейные альбомы и др.).

По форме изложения документы подразделяются на:

1) статистические (статистические отчеты, сборники статистических материалов, содержащие экономические и социальные показатели развития страны, динамику рождаемости, смертности, материального благосостояния населения, его образовательного уровня и т.п.);

2) вербальные, т.е. такие, в которых информация воплощена в словесно выраженной форме (письма, пресса, книги и т.п.).

По способу фиксации информации выделяются следующие разновидности документов:

1) письменные документы, в которых информация изложена в форме буквенного изображения (рукописи, книги, сообщения прессы, различного рода документальные свидетельства - о рождении, о служебной должности, о праве на владение имуществом и т.п.);

2) иконографические документы, воспринимаемые визуально (иконы, картины, кино- и фотодокументы, видеозаписи);

3) фонетические, т.е. ориентированные на слуховое восприятие (грампластинки, магнитофонные записи, лазерные диски и др.).

1) индивидуальные, созданные одним автором (письмо, заявление, жалоба); 2) коллективные, созданные несколькими авторами или группой людей (обращение к депутатам, правительству или населению страны, декларация о намерениях группы, партии, движения и т.п.).

Анализ документов имеет проблему достоверности информации и надежности документов. Она решается в ходе отбора документов для определенных исследований, и в ходе внутреннего и внешнего анализа содержания документов. Внешний анализ - изучение обстоятельств возникновения документов. Внутренний анализ - изучение особенностей содержания, стиля документа.

Существуют самые разнообразные виды анализа документов. Самыми распространенными, прочно утвердившимися в практике социологических исследований является традиционный (классический) и формализованный (количественный).

Традиционный, классический анализ – это все многообразие умственных операций, направленных на интеграцию сведений, содержащихся в документе с определенной точки зрения, принятой исследователем в каждом конкретном случае. Традиционный анализ документов дает возможность проникнуть вглубь изучаемых явлений, выявить логические связи и противоречия между ними, оценить эти явления и факты с определенных нравственных, политических, эстетических и иных позиций. Слабостью традиционного анализа документов является субъективизм.

Стремление преодолеть субъективность традиционного анализа породило разработку принципиально иного, формализованного (количественного) метода анализа документов, или контент-анализа, как иногда называют этот метод.

Контент-анализ – это вид исследования, применяемый в различных дисциплинах, областях гуманитарного знания: в социальной и общей психологии, социологии и криминологии, исторической науке и литературоведении и др. Развитие этого вида преимущественно связано с социологическими исследованиями. Там, где есть текст, документы, их совокупность, там возможно контент-аналатическое исследование. Одна из особенностей контент-анализа состоит в том, что наибольшее применение он находит при изучении средств массовой информации. Также он используется и при анализе документов: протоколов собраний, конференций, межправительственных договоров и т. п. Этот вид часто используется спецслужбами. При таком исследовании социолог по отдельным фрагментам должен восстановить эмпирическое бытие идеологического или политического процесса, подчиненного сложным социальным закономерностям. Прагматические модели контент-анализа глубже рассматривают исследуемые тексты. Они отходят от чисто описательной постановки вопроса и сосредотачивают внимание на тех признаках текста, которые прямо или косвенно свидетельствуют о позициях и намерениях автора. Специфика использования контент-анализа проявляется не в приемах счета единиц наблюдения, а в содержательном толковании самого объекта исследования. Вместе с тем контент-анализу документов в определенной степени присуща своеобразная ограниченность, которая заключается в том, что далеко не все богатство содержания документа может быть измерено с помощью количественных (формальных) показателей.

Обширная практика использования контент-анализа в социологических исследованиях дает возможность определить условия, при которых его применение становится крайне необходимым:

При требовании высокой степени точности и объективности анализа;

При наличии обширного по объему несистематизированного материала;

При работе с ответами на открытые вопросы анкет и глубоких интервью, если категории, важные для целей исследования, характеризуются определенной частотой появления в изучаемых документах;

Когда большое значение для исследуемой проблемы имеет сам язык изучаемого источника информации, его специфические характеристики.

В 1920 году он становится профессором по кафедре социологии. Однако все больше образ мыслей первого советского профес­сора социологии не устраивает власти. В это же время Ленин остро ставит вопрос о необходимости коммуни­стического контроля над программами и содержанием курсов по общест­венным наукам. «Буржуазную» профессуру стали постепенно отстранять от преподавания и тем более от руководства...

Как Т. Адорно, К. Хорни и другие неомарксисты и неофрейдисты, в своих работах обосновали парадоксальный вывод: “нормальная” личность современного общества - это невротик. Давно распались системы общностей, где были общепринятые устойчивые ценности, и сейчас каждая социальная роль человека заставляет его “играть” в новой системе ценностей, предпочтений и стереотипов (выходя из дома, попадая в...

При анализе документов источником социологической информации выступают сообщения, которые содержатся в протоколах, докладах, резолюциях и решениях, выступлениях политиков, публикациях газет, журналов, в художественных произведениях, иллюстрациях, фильмах, дневниках, летописях и т.п. Например, в известной работе У. Томаса и Ф. Знанецкого «Польский крестьянин в Европе и Америке» (1918) объектом анализа стали записки самоубийц и письма, которые на протяжении десятилетий мать писала сыну.

Анализ документов позволяет получать сведения о прошедших событиях, непосредственное наблюдение которых уже невозможно. Изучая документы, в которых те или иные явления жизни, события прослеживаются в течение многих лет, можно выявить тенденции и направленность их изменения. Так, для отечественных исследователей особую важность приобретает обширная социальная статистическая информация, которая долгое время была закрытой и, следовательно, использовалась в крайне ограниченном объеме. Однако эта информация обеспечит возможность реалистического анализа прошлого нашего общества, более полного понимания происходивших в то время процессов и явлений, что позволит избежать подобных ошибок в будущем.

Вторичным анализом данных называют анализ документов, содержащих данные ранее проведенных исследований с важной для социолога эмпирической информацией (статистические отчеты, данные переписи, информационные банки организаций, социологические опросы). Положительной стороной этого метода является то, что социолог получает готовую систематизированную информацию и избавлен от необходимости самостоятельного исследования, отрицательной — то, что он не имеет возможности самостоятельно формулировать интересующие его вопросы.

Контент-анализ (анализ содержания) является наиболее значительным методом сбора и обработки документальной информации и представляет собой формализованный способ исследования, подразумевающий анализ статистических закономерностей частотного распределения смысловых единиц в тексте. В контент-анализ направлен на объективное изучение текстов с целью исследования социальных процессов (объектов, явлений), которые эти тексты представляют.

Для понимания специфики контент-анализа важны следующие положения:

• можно исследовать то, что зафиксировано. То, что не зафиксировано, не существует;
• имеются только два способа фиксации информации — человеческая память и различные материальные носители (камень, папирус, бумага, компакт-диск и т.д.);
• для исследования применяют аналитический или статистический метод. Социология исследует информацию, как правило, статистическими методами;
• статистический метод имеет два варианта — интуитивный и формализованный, использующий специальные методики и математический аппарат;
• формализованный метод реализуется в двух формах — линейное частотное распределение, показывающее, сколько раз интересующий исследователя признак появился в тексте, и двумерное, подразумевающее поиск взаимосвязи между двумя какими-либо объектами.

Контент-анализ основан на формализованном количественном методе, в основном на методе парных распределений признаков в социальном пространстве.

Проведение контент-анализа должно отвечать следующим требованиям:

• объективность анализа, чтобы различные исследователи, работающие по одной методике с тем же текстом, получали одинаковые результаты;
• систематичность анализа объекта исследования — выбор сообщений для анализа должен быть основан на строгих формальных признаках, а не наличных пристрастиях исследователя;
• репрезентативность материалов для анализа, чтобы выводы, сделанные на основании выбранных материалов источника, можно было распространить на все материалы источника;
• правильность или неправильность количественного анализа (частотность употребления тех или иных элементов текста, корреляционные коэффициенты и т.д.) должна поддаваться проверке на языке математики.

Как правило, контент-анализ начинается с выбора: о смысловой единицы — социально-значимой идеи, отображенной в тексте посредством слова, сочетания слов, описания; о единицы счета, отвечающей целям исследования и требованиям достоверности. Так, при анализе прессы за единицу счета можно принять число печатных знаков, абзацев и даже число квадратных сантиметров площади, занятой текстом по изучаемой теме.

При использовании контент-анализа составляется бланк кодировки , содержащий систему операционных понятий, единицы анализа и все элементы описания проблемной ситуации. Обычно в бланк вносятся сведения о документе (например, газетной статье) — автор, дата, объем и т.д., число употребления в нем единиц анализа.

Таблица 1.1. Пример бланка кодировки контент-анализа

Заполнив подобный бланк, информацию можно перевести в числовые данные, удобные для последующей статистической (компьютерной) обработки, что обеспечивает выявление линейного частотного распределения каждого признака и взаимосвязи между различными признаками.

Хрестоматийным примером контент-анализа, основанного на частотном распределении, является исследование Г. Лacсуэлла и Н. Лейтеса, проведенное на материалах газеты «Истинный американец» в 1940-х гг. (табл. 1.2). Результаты анализа позволили выявить намерения авторов статей, послужили доказательством профашистской ориентации редакции и тем самым способствовали закрытию газеты.

Таблица 1.2. Число суждений в газете «Истинный американец»

Анализируя документы, исследователь может концентрироваться на содержании конкретных сообщений, интерпретируя определенным образом слова, словосочетания, образы. На основе этого можно выявить, например, общие тенденции, которые проявляют СМИ в своем отношении к тому или иному социальному явлению. Такой анализ предполагает наличие у исследователя высокого профессионализма, разносторонней культуры, умения неординарно мыслить, а также глубоких знаний из области истории, этнографии, этики, художественной литературы. Недостатком этого в и да а нал и за является высокая степень субъективности результатов исследования.

В качестве примера подобного анализа документов приведем результаты исследования межэтнических отношений в столице, выполненного на основе ряда московских газет за 2006 г. Автор исследования интересовался тем, какой образ москвичей конструируют газеты в массовом сознании горожан. При этом он определял смысл, вкладываемый в местоимение «мы» авторами различных статей. Формально «мы» обозначает «москвичи», но фактически всякий раз в это местоимение вкладывается свое содержание.

Анализ прессы показывает, что московские газеты безусловно конструируют в массовом сознании образ: «Мы — полиэтничное сообщество». При этом в прессе представлены две авторские позиции: первая — «Москва полиэтничный город, таким он и должен быть. Мигранты нам необходимы, поэтому мы должны их принимать и уживаться с ними». И вторая — «Москва — это город русской культуры, хотя в нем действительно жили и живут люди разных национальностей и религий. Он и должен оставаться таким, где доминирует русская культура, где сохраняется принятый веками, хоть и модернизирующийся образ жизни, где должна разумно проводиться демографическая политика и где можно обойтись без такого огромного и неуправляемого наплыва мигрантов, да еще и нелегальных». Робкое и неявное признание в СМИ факта, что «Мы — москвичи — это прежде всего русские» и редкое подчеркивание его в московской прессе — один изуспокаивающих факторов для населения.

На основании анализа прессы автор делает ряд рекомендаций относительно того, как снизить напряженность в межэтнических отношениях — отказаться от пропагандистских акцентов на разделении граждан по этническому и религиозному признакам; усилить интеграционные моменты в публикациях о московском сообществе; исповедовать общность культурных, гражданских и общественных ценностей; чаще показывать позитивные образы представителей разных этнических групп и т.д.

Анализ документов может использоваться как самостоятельно, так и в сочетании с другими методами. Часто он применяется на подготовительном этапе исследования, а на основе его результатов составляются сценарии фокус-групп, анкеты для экспертных опросов и т.д.

Таким образом, анализ документов позволяет прийти к важным содержательным выводам по поводу социальных явлений и процессов, отраженных в документах, а также об изменении отношения в обществе к этим явлениям и процессам. Такой анализ может успешно применяться и для изучения отношения населения к событиям, которые далеко отстоят от времени проведения исследования.

Анализ документации

Анализ документации (англ. document analysis ) - это метод сбора данных посредством анализа документов для их последующей интерпретации и оценки программы . Термин «документация» означает процесс формального закрепления данных, полученных из письменных, устных, графических или археологических источников. В связи с чем, для исследователя документ является источником получения информации об интересующем его объекте. Этот источник информации может быть представлен в форме текстового материала, в формате visual media (включая аудио-ленты, фотографии, фильмы, и видеозаписи), а начиная с недавнего времени и в формате электронных данных. Сейчас оценщики используют e-mail переписку, мультимедиа и форумы как новые формы документации, которую нужно тщательно исследовать для достижения целей оценивания.

Цель анализа документации

Целью анализа документации является сбор фактов . Например исследователь может изучить брошюру программы, чтобы определить её основные цели и задачи, собрать дополнительные сведения. Но не все документальные факты подлежат анализу и оценке. Как правило исследователь анализирует документацию для того, чтобы найти те или иные факты в подтверждение гипотезы , которую он уже заранее для себя сформулировал. То есть анализ документации заключается в выборе из имеющихся документов «нужных» фактов. Таким образом, вопросы, гипотезы или общие идеи исследователя действуют как критерий для отбора фактов для их дальнейшей интерпретации и получения выводов. Анализ документации является лучшим методом поиска ретроспективной информации относительно программы и подчас может являться единственным источником получения такой информации. Анализ документации может быть проведен в любой момент, что особенно полезно на начальной стадии оценки, когда исследователю необходимо изучить программу, историю её реализации и определить её основные цели, задачи и т.д. При выполнении анализа документа, оценщик выясняет, какая информация уже собрана, а какую только предстоит собрать для оценки программы.

Преимущества анализа документации

• Документация содержит полный объем данных

В отличие от коротких выборочных исследований, которые проводятся оценщиками с целью получения информации о реализации программы и позволяют получить крайне ограниченный объем информации, документация по программе ведется с начала её создания до получения конкретных результатов и их анализа. Поэтому документы содержат полный объем информации, позволяют оценить общую картину реализации программы, а также построить прогнозные оценки и выявить основные тренды развития. Некоторые виды информации могут быть эффективно собраны именно посредством анализа документа. Очень часто оценщик должен знать заявленные цели программы, и документы - это источник такой информации. Вместо огромных затрат времени на общение с персоналом программы, подобная информация может быть получена из основных документов.

• Документы содержат более надежную информацию

Информация, получаемая посредством анализа документации зачастую является более достоверной и надежной, чем какая-либо другая. Результаты интервьюирования зависят от репортера, его умения задать «правильные» вопросы для получения релевантной информации – велик субъективный фактор. Интервьюирование основывается на памяти репортера, в то время как анализ документа не подчинен этому недостатку. Полученные со слов опрашиваемых данные могут содержать в себе фактические ошибки в силу неосведомленности респондентов или по причине неаккуратности репортера. Официальная документация как правило тщательно проверяется и свободна от пристрастий и необъективности репортера.

• Анализ документации экономит ресурсы и время

При проведении опросов и интервью необходимо заранее договариваться о встрече и тратить на сбор необходимой информации значительное количество времени, после чего полученную информацию необходимо зафиксировать и выполнить отчет. Ничего из этого не нужно осуществлять при анализе документации, так как она может быть проведена в любое время и не требует кооперации большого числа людей. Документы часто находятся в общем пользовании и доступны в любое время при минимальных затратах.

• Некоторая информация может быть получена только из документов

Анализ документа может выявить информацию, которая не могла бы быть получена через опросы . Например, один исследователь, демонстрируя Ирландское доминирование в Бостонских общественных школах, идентифицировал Ирландские фамилии в списке служащих, определив таким образом, их долю в общем числе служащих. Подчас персонал не склонен отвечать на вопросы, в связи с чем документы остаются единственным источником информации. Крайне сложно получить ретроспективную информацию о программе, особенно если её реализация уже завершилась. Люди, инициировавшие проведение программы, а также активно в ней участвовавшие могут не помнить всех деталей или оказаться недоступными на момент проведения оценки.

Недостатки анализа документации

• Обман со стороны автора документа

Часто документы пишут таким образом, чтобы программа выглядела лучше, чем она есть на самом деле. Подобное «приукрашивание» самой программы, хода её реализации и результатов вводит в заблуждение исследователей и может привести к неправильным интерпретациям и выводам оценщиков.

• Документ может содержать ошибки

Документ - это письменный отчет и также может содержать некоторые фактические ошибки. Очевидна связь содержания документа с памятью человека, ответственного за его составление. Отчеты могут отражать ошибки клерков, типографские ошибки, погрешность измерения , или содержать прямой обман. Отчеты агентств могут быть неточными или устаревшими.

• Документы не всегда достаточно детализированы

Несмотря на то, что исследователю может быть доступен весь объем документации, зачастую она не будет содержать большую часть необходимой информации и/или достаточно детализироваться. В Коннектикуте, например, государственные эксперты, осуществлявшие оценку программы социальной помощи студентам, получили огромное количество материалов, но так и не смогли выяснить, на основании какого критерия из 30000 студентов были выбраны лишь 6000. Если исследователь заинтересован внутренними процессами и процедурами принятия решения, необходимые данные скорее всего будут недоступны.

• Документы зачастую не содержат определений и остаются неясными

Определения и категории, используемые в документе, могут не удовлетворять исследователя и оставаться неясными, что затрудняет понимание сути программы и сбор необходимых фактов для достижения цели. Например, Hendrickson и Barber (1980) описывают оценку программы, когда в документации программы не содержалось ни одного развернутого определения используемых категорий данных, а заново нанятый персонал не имел опыта в сборе и документировании информации.

• Документация подвержена влиянию субъективного фактора

Любой документ отражает в себе то, что думал и знал на момент составления документа его автор. Документальные факты никогда не бывают «чистыми», так как не могут существовать в такой форме и всегда являются отражением мысли составившего документ человека. Это значит, что при первом рассмотрении документа, необходимо обращать внимание не на факты, в нем содержащиеся, а на человека, который составил этот документ. В идеале, в первую очередь необходимо изучить автора, а уж затем его документ, с тем чтобы понимать цель его составления и видеть возможные ошибки - намеренные или случайные.

• Документ может содержать нерепрезентативные примеры

Основным критерием сбора любой информации является репрезентативность выборки. Это делается для того, чтобы полученные данные не содержали в себе концентрации каких-либо сугубо конкретных признаков, а представляли общую картину в целом. Однако документ, как и любой другой источник информации, не защищен от подобной ошибки. Если примеры, приведенные в документе, не являются репрезентативными, то есть характерными для данного явления в целом, исследователь получает неадекватную картину происходящего, результатом чего могут стать смещенные оценки программы и неправильная интерпретация результатов. Единственным способом проверки данных на репрезентативность является сравнение зафиксированной в документе информации с информацией, полученной из других источников другими методами.

Виды анализа документации

• Отслеживание (англ. Tracking ) – это процесс изучения документации с целью сбора информации, которая подтвердит или опровергнет гипотезу исследователя. Когда исследователь начинает изучать программу, результаты её реализации, его интересует, что именно привело к такому стечению обстоятельств, почему произошло именно так, а не иначе. Исследователь строит гипотезу, своё предположение относительно того, что послужило причиной этому, а затем шаг за шагом начинает проверять её путем анализа документов. Для оценки текущих результатов оценщик «возвращается» назад, воссоздавая ту цепочку событий и явлений, зафиксированных в документах, результатом которых стали имеющиеся итоги.

• Анализ содержания документа (англ. Content Analysis ) - это метод анализа документации, который заключается в применении научных методов анализа документа с точки зрения его содержания. Основной формой анализа содержания документа является определение четкости и разборчивости текста самого документа, выявление степени его удобочитаемости (англ. readability ). Подобный анализ включает в себя определение среднего числа слов в предложении, число общеопнятных слов, число сложных и длинных предложений и число абстрактных идей. Анализ документов с точки зрения их содержания также дает существенное представление о сути программы, которую необходимо оценить.

• Агрегирование имеющихся данных (англ. Case-Study Aggregation Analysis ) - это метод анализа документации, который заключается в сборе всех имеющихся исследований, программ и документов на интересующую тему для агрегирования всего массива информации. Данный метод анализа документации позволяет понять, какая информация уже собрана и проанализирована, и какую информацию необходимо собрать. Агрегирование имеющихся данных позволяет собрать весь массив добытых сведений у одного исследователя или оценщика, что позволяет ему более адекватно понять суть той или иной программы.

Определение надежности документа

Существует четыре основных правила для определения степени надежности документа:

• Неполное наблюдение или плохая память являются причинами неадекватности утверждений. В результате. чем большее количество времени прошло с момента реализации программы до составления документа, тем менее надежен этот источник информации;
• Все документы составляются с определенной целью. Некоторые представляют собой отчеты о проделанной работе, другие составляются как обращение или пропаганда других людей. Чем серьёзнее было намерение автора составить простой отчет по фактической реализации программы, тем надежнее документ;
• Чем больше конфиденциальность информации, тем надежнее документ, так как конфиденциальная информация предназначена для внутреннеого пользования "посвященным" кругом людей, которым нет необходимости обманывать самих себя;
• Утверждения опытного образованного исследователя более правильны, нежели заявления простых наблюдателей. То есть чем больше опыт человека, составлявшего документ, тем надежнее информация содержащаяся в нем.

Особый интерес в современных условиях представляет анализ финансовой документации . Любое воздействие, будь то программа социальной помощи населению, сокращение налогового бремени или введение новых стандартов технического регулирования, ведет к перераспределению ресурсов, изменению затрат и выгод субъектов и объектов воздействия. В условиях ограниченности ресурсов и высоких рисков вопрос оценки результативности расходов становится все более актуальным. В связи с чем, для оценки целесообразности проведения программы необходимо сравнить издержки и выгоды от её реализации в целом для всего общества. Получить необходимую для этого информацию можно с помощь анализа финансовой документации.

Под финансовой документацией понимаются не только документы в узком смысле, но и проведение сбора исходных данных в публичных источниках, анализ данных статистических служб, анализ состояния цен, запросы котировок цен и т.д.

Анализ финансовой документации позволяет оценить масштабы реализации программы, источники её финансирования , а также механизмы реализации программы. Данный метод сбора информации позволяет выявить основные цели и приоритеты в реализации программы и является дополняющим к экспертным опросам и опроса представителей отрасли.

Одной и форм оценки целесообразности программ путем анализа финансовой документации является финансово-экономическое обоснование . В соответствии с Регламентом Государственной Думы Российской Федерации, Регламентом Правительства Российской Федерации, проекты нормативных правовых актов, реализация которых требует финансовых или материальных затрат, должны сопровождаться финансово-экономическим основанием, которое, по сути, также оценивает целесообразность реализации того или иного государственного вмешательства и результативность расходов. Финансово-экономическое обоснование позволяет обосновать необходимость введения нормативного правового акта исходя из положительного воздействия на общественное благосостояние.

1. Encyclopedia of evaluation. Sage Publications, 2005.
2. Caulley, D. Document analysis in program evaluation. Evaluation and Program Planning, 1983.
3. Guba, E.G., Lincoln, Y.S. Effective Evaluation. San-Francisco, 1981.
4. Hendrickson, L., Barber, L. Evaluation and Politics: a critical study of a community school program. Evaluation review, 1980.
5. Murphy, J.T. Getting the facts. Santa Monica, 1980.
6. Weiss, C.H. Evaluation Research, 1972.

Wikimedia Foundation . 2010 .

• Википедия

ИСО 9004-1-94: Управление качеством и элементы системы качества. Часть 1. Руководящие указания - Терминология ИСО 9004 1 94: Управление качеством и элементы системы качества. Часть 1. Руководящие указания: 8.7. Анализ готовности продукций к реализации Следует определить возможности организации для поставки новой или модернизированной… … Словарь-справочник терминов нормативно-технической документации

оценка - 3.9 оценка (evaluation): Систематическое определение степени соответствия объекта установленным критериям.

Анализ документов - один из широко применяемых и эффективных методов сбора первичной информации. Отражая духовную и материальную жизнь общества, документы передают не только событийную, фактологическую сторону социальной действительности, но и фиксируют развитие всех выразительных средств, и прежде всего структуру языка.

С документами социолог сталкивается в самом начале абсолютного большинства исследований независимо от того, какими методами предстоит собирать первичную информацию. На этой стадии документы, как правило, представляют собой не объект самостоятельного социологического исследования, а лишь вспомогательный источник информации. Такую функцию могут выполнять четыре группы документов: статистические и вербальные документы об объекте исследования, массивы первичной статистической информации, протоколы и стенограммы, документы личного характера.

В плане вспомогательном источники информации об объекте исследования - это прежде всего документы, содержащие либо статистические сведения о нем, либо его вербальную характеристику; данные предшествующих социологических исследований на аналогичную тему; аналитические отчеты и другие материалы, способные дать информацию для более глубокого уяснения исследуемой проблемы, повышения качества методического инструментария, точности модели выборки; служить основой формирования выборочной совокупности. Источниками подобной документации могут быть органы государственной и ведомственной статистики, различные справочные издания, документы, хранящиеся в архивах, библиотеках и др. Сведения, содержащиеся в этих источниках, могут быть также использованы для проверки устойчивости информации, полученной в результате социологического исследования, для сопоставления, сравнения, либо построения динамических рядов распределения данных.

Массивы первичной статистической информации или статистической отчетности хранятся как в официальных статистических управлениях, так и в различных ведомствах и учреждениях. Это бланки со стандартизованной отраслевой информацией, ежеквартальные и годовые отчеты предприятий в налоговой инспекции, годовые балансы банков; данные о здоровье населения, хранящиеся в медицинских учреждениях; документы по учету преступлений, хранящиеся в правоохранительных органах, и т.д. За исключением «санкционированных» случаев (когда исследования заказаны собственниками соответствующих документов, либо иными организациями, имеющими к ним доступ) такие документы труднодоступны исследователю.

Протоколы и стенограммы судебных или арбитражных заседаний, расследований, собраний, индивидуальные характеристики школьных психологов на учащихся и другие аналогичные документы могут служить источником тематических зондажей.

Для репрезентативных исследований из-за ограниченности массива документов они, как правило, не пригодны. Кроме того, эти документы не всегда доступны исследователю ввиду своей конфиденциальности.

Используемые в зондажных целях личные документы - письма, дневники, автобиографии и т.д. - также не всегда могут составить репрезентативный массив для полномасштабного исследования. К тому же доступ к личным документам затруднен не в меньшей степени, чем к протоколам и стенограммам.

Наряду с решением вспомогательных задач - сбор сведений об объекте, предмете исследования, уточнение модели выборки, методического инструментария сбора информации - документы могут составить источниковую основу самостоятельного социологического исследования. Анализ документов как поисковый научный метод лежит в основе двух видов исследования: количественного семантического анализа и главного метода, используемого в прикладной социологии - анализа содержания документов. Прежде чем перейти к его детальному рассмотрению, ознакомимся в общих чертах с методом количественного семантического анализа.

Виды Прикладная социология в первую очередь рас-

документов сматривает различные печатные и рукописные материалы, созданные для хранения и передачи информации. При более широком подходе в состав документов включают также теле-, кино-, фотоматериалы, звуковые записи и т. д.

Существует ряд оснований для классификации документов. По статусу различают документы официальные и неофициальные; по форме изложения - письменные и (более широко - вербальные), аудиальные, визуальные, аудио-визуальные и статистические. По своим функциональным особенностям документы разделяются на информационные, регулятивные, коммуникативные и культурно-просветительские. Естественно, при этом подчеркивается основная, ведущая направленность документа, однако чаще всего он выполняет одновременно несколько функций.

Принципиальное значение для исследователя имеют официальные документы - постановления правительственных органов, директивы ведомств, приказы и распоряжения администрации предприятий и учреждений, которые преимущественно отражают общественные связи и выражают коллективные точки зрения. Они составляются и утверждаются государственными или общественными органами, коллективными или частными учреждениями и могут выступать в качестве юридического доказательства. Ведущее назначение этих документов - управленческое. Их основная функция - информировать о состоянии дел, о достижении определенных намеченных целей.

Полезная информация для систематизированного изучения и статистического обобщения контроля за деятельностью организаций содержится в текущих планах работы. Анализ этих материалов в динамике позволяет выявить роль различных управленческих акций в организации производства, обнаружить и исправить имеющиеся трудности, недостатки в работе. Ведущее назначение такого рода документов - коммуникативное и культурное, но при этом они информируют членов коллектива и регулируют отношения между ними.

Большую пользу может принести изучение неофициальных документов. Среди них выделяются личные документы. Они весьма ценны, поскольку представляют собой почти ничем не ограниченные высказывания людей по свободно выбранной теме. Личные документы - дневники, мемуары, письма, семейные фото- и кинодокументы, архивы и т.д. - незаменимый источник изучения общественного сознания, мнений и установок на индивидуальном уровне. Они позволяют вскрывать глубинные социальные механизмы образования ценностных ориентаций, понять историческую обусловленность мотивов поведения, найти основу для выделения социальных типов личности. Особое значение имеют письма населения в различные властные организации, в редакции средств массовой информации.

Важнейший источник документальной информации - материалы прессы, отражающие все стороны жизни общества. Публикации газет синтезируют в себе черты документов различных типов: «словесную», цифровую и изобразительную информацию, официальные сообщения, авторские выступления и письма граждан, документы истории и репортажные материалы о современности.

Многое может сказать об эффективности газетных выступлений изучение языка публикаций. Так, по данным исследования, проведенного в рамках проекта «Общественное мнение», до 70% читателей газеты «Таганрогская правда» неправильно интерпретировали содержащиеся в публикациях на экономическую тематику ключевые понятия: от 50% до 80% читателей продемонстрировали полное незнание или ошибочное истолкование таких слов, как: «демократ», «монополия», «реванш», «либерал», «эскалация» и др. А ведь это - понятия, наиболее часто встречавшиеся в выступлениях внешнеполитических обозревателей центральных газет, радио и телевидения.

Еще одно основание для типологии документов - их целевое назначение. Выделяют документы, созданные независимо от исследователя, и документы, «целевые», то есть подготовленные в точном соответствии с программой и задачами социологического обследования. К первой группе, естественно, относятся все документы, существование которых ни прямо, ни косвенно не обусловлено техникой проведения социологического исследования (связанные с темой исследования официальные документы, статистические сведения, материалы прессы, личная переписка и т. д.). Вторая группа документов включает: ответы на открытые вопросы анкеты и тексты интервью, записи наблюдений, отражающих мнение и поведение респондентов; справки официальных и общественных организаций, выполненные по инициативе, заказу исследователей; статистическую или вербальную информацию, собранную и обобщенную в ориентации на определенное социологическое исследование.

Информацию, содержащуюся в документах, принято разделять на первичную и вторичную. В первом случае речь идет об описании конкретных ситуаций, об освещении деятельности отдельных лиц или органов. Вторичная информация носит более обобщенный, аналитический характер, в ней, как правило, отражены более глубокие социальные связи.

Самостоятельные этапы анализа документов - Отбор отбор источников информации и комплектова-

документов ние выборочной совокупности подлежащих для изуче- анализу материалов. Опорой для этих этапов служит программа исследования.

Как подойти к отбору массива документов для анализа? Прежде всего принимают во внимание качественный и количественный аспекты процедуры построения выборки.

Количественная сторона выборки определяется в первую очередь материально-техническими возможностями и организационными условиями деятельности исследовательской группы. Если к отбору и анализу документов можно привлечь достаточно опытных, обученных специалистов, если сроки проведения исследования не требуют оперативного осуществления всех работ, а для обработки первичной информации могут быть использованы современные вычислительные средства, то, несомненно, надо повысить разнообразие источников информации и увеличить объем выборочной совокупности. На практике, однако, чаще приходится думать об обратном, то есть о путях сокращения количества изучаемых материалов. Общий принцип решения этой задачи один - конкретизация, уточнение целей анализа документов.

Исследователь не имеет права поддаться магии слова «документ». Ни печать, ни подписи на нем не гарантируют надежности документальной информации. За текстом всегда стоят люди и их интересы, их сила и слабости всегда отражаются в содержании документа. Поэтому приступая к работе, определяют надежность самого документа и достоверность его содержания. Речь идет, во-первых, о подлинности источника и его связи с предметом исследования и во-вторых - о правдивости в освещении фактов, точности в передаче автором описываемых им событий.

Бывает так, что случайные ошибки снижают достоверность всего документа или отдельных его разделов: неверное указание дат и имен, опечатка в приводимом статистическом материале, непреднамеренное «опущение» ряда важных деталей и т.д.

Существуют также обстоятельства систематического характера, отрицательно сказывающиеся на качестве документальной информации, например, неправильная методика группировки при составлении статистических документов.

Широко используемое средство, позволяющее проверить надежность, достоверность информации и одновременно исследовать содержание документов, - «внешний» и «внутренний» анализ. Внешний анализ состоит в изучении обстоятельств возникновения документа, его исторического, социального контекста. Зная истинное положение дел в соответствующей сфере жизни общества, конкретных областях, в регионах страны, будучи знакомым с традициями разных социальных групп населения, социолог легко обнаружит тенденциозность в освещении отдельных проблем, поднимаемых некоторыми авторами документов. Внутренний анализ - это и есть собственно изучение содержания документа, всего того, о чем свидетельствует текст источника, и тех объективных процессов и явлений, о которых он сообщает.

Виды Во всем многообразии исследовательских при-

анализа емов, используемых при изучении документов,

докуМентов выделяются два основных вида: качественный анализ (иногда его называют традиционным) и формализованный, носящий название контент-анализа. Эти два во многом различных подхода к изучению документальной информации могут, тем не менее, дополнять друг друга.

Качественный анализ зачастую служит предпосылкой последующего формализованного изучения документов. Как самостоятельный метод он приобретает особое значение при изучении уникальных документов: их число всегда невелико и поэтому нет надобности в количественной обработке информации. На первый план в таких случаях выдвигаются углубленное логическое исследование содержания документа, обнаружение возможных «умолчаний», оценка своеобразия авторского языка и стиля изложения.

Стремление в максимальной степени избежать субъективизма, потребность в социологическом изучении и обобщении большого объема информации, ориентация на использование современной вычислительной техники при обработке содержания текстов привели к становлению метода формализованного, качественно-количественного изучения документов (контент-анализа).

Согласно этому методу, содержание текста определяется как совокупность имеющихся в нем сведений, оценок, объединенных в некую целостность единой концепцией, замыслом. Формализованный анализ документов имеет дело с текстом, но ориентирован прежде всего на изучение стоящей за ним реальности. Особо подчеркнем, что внетекстовой реальностью являются не только события, факты, человеческие отношения, отраженные в текстах, но и используемые при их подготовке принципы отбора материалов. Другими словами, для исследователя может быть в равной степени важно и то, что вошло в содержание текста, и то, что оказалось вне его рамок.Процедура формализованного изучения документов начинается с выделения двух единиц анализа: смысловых (качественных) и единиц счета. При этом главной смысловой единицей должна быть социальная идея, социально-значимая тема, отображенная в операциональных понятиях. В тексте она выражается по-разному: словом, сочетанием слов, описанием. Цель исследования - отыскать индикаторы, указывающие на наличие в документе темы, значимой для анализа, и раскрывающие содержание текстовой информации. К примеру, при изучении роли газеты в распространении технических знаний к публикациям на эту тему могут быть отнесены статьи, очерки, заметки, фотографии, в которых прямо или косвенно, с различной степенью достоверности говорится о новых достижениях в области техники и технологии.

Плодотворным оказывается при анализе текстов деятельностный (проблемный) подход. В этом случае весь текст или его часть рассматриваются как описание конкретной проблемной ситуации, в которой есть свои «действующие лица» и рассказано об отношениях между ними. При формализованном анализе документов всесторонне рассматривают саму деятельность, а также выделяют ее субъекты, цели и мотивы совершаемых ими поступков, обстоятельства, причины, породившие потребность в той или иной деятельности (бездеятельность - это тоже вид деятельности); объект ее направления. Подобное «проблемное» прочтение содержания совокупности писем населения или газетных публикаций способствует преодолению многих трудностей, вызываемых разнообразием излагаемых в них ситуаций и языковых средств, используемых различными авторами. При соотнесении содержания текстов с социально-демографическими характеристиками и словарным багажом их авторов описанный прием анализа документов открывает самые широкие и благоприятные возможности для применения ЭВМ, позволяет получить интересные содержательные выводы о явлениях, процессах, отраженных в документах.

Обязательный инструментарий осуществления формализованного анализа документов - бланк кодировки. Он составляется в соответствии со схемой операциональных понятий, содержит единицы анализа и все элементы описания проблемной ситуации, устанавливает однозначное соответствие между лексикой текста и кодами, над которыми производятся вычислительные операции.

В качестве примера приведем фрагмент бланка, с помощью которого можно осуществить кодирование информации, содержащейся в письме: