준 실험설계 - 연구참가자들의 선정과 배정

위에서 지적한 바와 같이, 이상적으로 연구 참 갓들의 선정과 배정은 내부 타당도와 외부 타당도를 최대화하기 위해서 무작위적이어야만 된다. 그러나 무작위적 선정과 배정은(설사할 수 있더라도) 항상 가능하지는 않으며, 따라서 기존의 집단들이 연구될 수밖에 없다. 이의 경우들에서, 시간 계열 설계가 사용될 수 있지만, 연구자는 발견을 조심해서 해석해야만 된다, 시간 계열 설계는 중요한 사건들 새로운 제정 등의 영향들을 평가하기 위해서 역사적 연구들에서 보편적으로 사용되고 있다, 시간 계열 설계의 내부 타당도는 참가자들이 무작위적으로 선정되고 배정되고 있지 않기 때문에 나쁠 것이다. 그러므로, 독립변인 이외의 어떤 요인이 관찰된 변화(또는 변화의 부족)의 원인이 되었을 수 있다.

반복적인 사전검사와 사후검사의 측정치들은 연구자에게 바로 그 당시에 발생하고 있는 어떤 외재적 사건이 그 관찰된 변화를 일으키게 될 가능성을 평가하는 데에 도움을 준다.

그렇지만 반복적 측정들은 다른 잠재적 문제, 즉 측정 과정에 관련된 이월효과나 연습효과에 기인하는 변화를 도입시킨다, 아마 종속 변인의 반복적 측정은 참가자들에게 반응하는 방법을 배우게끔 만들 수 있거나 어떤 다른 방식으로 관찰되고 있는 행동을 체계적으로 변화시킬 수 있을 것이다. 이의 경우들에서, 독립변인보다도 측정 과정 자체가 변화(또는 변화의 부족)를 일으킨다. 그러므로, 연구자는 측정 과정 자체가 독립변인이 일으킬 수 있는 어떤 영향들을 차폐시키지 않게끔 보장하기 위해서, 측정 과정을 주의 깊게 점검해야만 된다. 시간 계열 설계의 한 예가 특별 간 9-2에 제시되어 있다.

 Schuessler의 연구는 시간 계열설계의 하나의 보편적인 사용 역사적 자료에 대한 검토를 예시해 준다. Schuessler는 사형제도가 범죄를 저지르는 것을 얼마나 막아주는가에 관심을 두었다. 이 연구자는 몇 개의 절차들과 자료들을 사용했지만, 여기에서 주로 관심 있는 것은 스웨덴의 자료이다. 그는 1754년부터 1942년까지 매년 보고된 살인사건들의 수를 기록했다. 스웨덴은 비록 최종의 사형집행이 1910년에 있었지만, 1921년에 사형 제도를 공식적으로 폐지했다. 그러므로, 1921년 전과 후의 살인율을 검토하는 것이 중요하다. 표 9-1은 1754년부터 1942년까지의 스웨덴의 인구 100,000명당 매년의 평균 살인율을 제시하고 있다. 이들 자료에서, Schuessler는 사용제도가 스웨덴에서의 살인율에 영향을 주지 않았다고 결론지었다. 이러한 결론들은 또한 그가 수집한 다른 자료들에 의해서도 지지되었다.

비 동등 통제집단설계 - 사전검사-사후검사 설계와 시간 계열 설계를 개선하는 한 가지 방법은 어떤 비교집단이나 통제집단을 첨가하는 것이다. 비교집단이나 통제집단은 독립변인을 제외하고서 연구의 모든 측면을 동일하게 경험하는 참가자들의 집단이다. 그 논리적 기초는 만일 어떤 집단이 독립변인을 경험하고 있는 집단과 독립변인을 제외한 다른 측면들에서 비슷하게 처치받게 된다면, 집단들 간의 어떤 차이가 그 독립변인의 영향들을 반영하리라는 것이다. 한 개의 비교집단을 사용하고 있는 하나의 준실험설계는 비 동등 통제 집다 설계다. 이 설계가 도 9-4에 도시되어 있다.

 이 설계를 사용하면서, 한 개의 처치집단과 한 개의 통제집단이 독립변인이 도입되기 전과 후에 측정되게 된다. 그러나, 단지 처치 집단만이 독립변인을 경험한다. 통제집단에서 얻은 사전검사-사후검사의 측정치들이 처치 집단에 대한 사전 점사 - 사후검사의 측정치들을 평가하기 위한 기준선이 되어 준다. 만일 유사한 변화들이 양측 집단들에서 관찰되고 있다면, 독립변인이 측정되고 있는 행동에 영향을 주지 않는다고 결론짓는 것이 합당할 것이다. 이와는 달리, 만일 두 집단들 간의 차이들이 관찰되고 있다면, 독립변인이 실제로 행동에 영향을 주었을 것이다.

 비 동등 통제집단설계는 연구 참가자들이 무작위적으로 선정되고 배정되지 않고 대개 기존 집단들의 멤버들이라는 점에서 진정한 실험설계와는 다르다. 예를 들면, 한 학교의 학생들이 실험집단으로 다른 학교의 학생들이 통제집단으로 지정될 수도 있을 것이다. 따라서, 집단 간에 관찰된 어떤 차이들이 독립변인이 아니라 학교 차들에 기인할 수 있으며 변인 혼동의 가능성이 존재한다. 비 동등 통제 집단 설계에 대해서 몇 가지 분석 방법들이 사용될 수 있다.

 비 동등 통제집단설계는 외재적 사상들이 통제집단과 아울러 실험집단의 멤버들에게 동일하게 영향 줄 수 있으므로 관찰된 결과들이 외재적 사상들의 함수일 가능성을 감소시켜 준다. 그러나, 이 설계는 참가자들이 표본추출되고 있는 모집단의 대표가 되게끔 무작위적으로 집단들에 배정되거나 선정되지 않는 고로, 전통적 실험설계만큼의 내부 타당도와 외부 타당도를 제공해 주지는 못 한다. 비 동등 통제집단 설계의 한 예가 특별칸 9-3에 제시되어 있다.

 Yoakly의 보고서는 비 동등 통제집단설계의 한 예를 제공해 준다.

Yoakly는 학생들이 보인 적절한 수업행동과 수업 관리에 대한 학생들 자신의 참가 기회 사이에 어떤 유의한 관계가 있는지를 연구했다. 연구 참가자들은 초급대학 학생들로서, 각각 25명의 학생이 수강하고 있는 두 개의 학급에서 인간관계 과목을 수강하고 있었다. 한 학급은 통제집단으로서 사용되었으며, 다른 학급은 실험집단이 되었다. 훈련받은 관찰자들이 주기적인 시간 표본추출에 의해서 각 학생의 적절한 행동과 부적절한 행동을 기록했다. 이들 관찰은 각 행동유형에 대한 시간의 백분율로 전환되었다. 적절한 행동은 당면되고 있는 수업 과제에 관련 있는 활동들, 즉 토의에 참여하는 것, 질문하는 것, 질문에 대답하는 것, 노트필기를 하는 것 및 경청하는 것으로서 정의되었다. 부적절한 행동은 수업 과제에 무 관련 한 활동들, 즉 주의를 다른 것에 돌리는 것, 불필요한 소음을 내는 것, 방해하는 것, 잡담하는 것 및 기타 형태의 혼란 행동으로 간주하였다. 약 1주일 동안, 관찰자들은 차후의 관찰을 비교하는 어떤 기준선을 얻기 위해서 양 집단의 행동들을 기록했다. 그다음에 실험집단은 수업 활동을 관리할 기회들을 받았다. 2주일 후에, 학생들은 자체 관찰되었다. 사후검사의 관찰은 적절한 행동 비율은 실험집단이 85%였고, 통제집단이 73%라는 것을 나타냈다.

Mann-Whitney의 U 검증은 이 차이가 유의한 차이라는 것을 확증했으며, 따라서 더 높은 비율의 적절한 행동들이 실험 처치에 기인하였다고 가정되었다.