• Crossref logo
Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1226-0401(Print)
ISSN : 2383-6334(Online)
The Research Journal of the Costume Culture Vol.27 No.5 pp.512-523
DOI : https://doi.org/10.29049/rjcc.2019.27.5.512

College student adoption of smart learning management system

Kyu-Hye Lee, Ji-Yeon Kim*, Hyun-Jin Seo**
Professor, Dept. of Clothing & Textiles, Hanyang University, Korea
*Junior Researcher, Strategsic Planning Team, Korea Research Institute for Fashion and Distribution Information, Korea
**Lecturer, Dept. of Clothing & Textiles, Hanyang University, Korea
Corresponding author (i0166201@hanyang.ac.kr)
August 30, 2019 October 22, 2019 October 25, 2019

Abstract


Contemporary University students are considered the Z generation who were born after 1995. They are more tech savvy than millennials. To target the generation, traditional class management platforms have evolved to smart LMS that is more customized and accessible for smart devices. Global level information search and collaboration can also be implemented using such smart LMS. However, switching from one LMS to another LMS requires great effort from teachers and support from staffs. This study measured the learners’ perception of the system when they were exposed to a new smart-LMS. Blackboard Learn Ultra was used for 15 weeks and at the end of the semester, a questionnaire was administered to the students of these classes. Results indicated that experience with previous LMS discouraged students from adopting Blackboard Learn. Result of TAM modeling indicated that perceived usefulness, compared to perceived ease of use and attitude, was an effective aspect to bring positive acceptance of the system. A qualitative approach and network analysis were also conducted based on students’ responses. Both positive and negative responses were detected. Inconvenience due to mechanical aspects was mentioned. Dissatisfaction compared to previous local LMS use was also mentioned. Mobile application and communication effectiveness were positive aspects. Revised course development and promoting how useful the system may help enhance the acceptance of the new system.



대학생의 스마트 학습관리시스템 수용에 대한 연구
- 블랙보드 도입과 활용 -

이 규혜, 김 지연*, 서 현진**
한양대학교 의류학과 교수
*한국패션유통정보연구원 전략기획팀 선임연구원
**한양대학교 의류학과 시간강사

초록


    I. Introduction

    21세기 들어 전 세계적인 온라인 이용의 증가는 대학에서 학생들을 가르치던 전통 적인 교수법에 커다란 변화를 가지고 왔다. 학생들은 정보의 이용이나 과제의 제작, 제출에 있어, 사이버 공간을 적극 이용하고 있으며, 이미 거의 모든 대학 교에서 수강신청, 강의평가, 성적 조회 등 기본적인 학사 행정에 대한 처리 및 확인은 온라인을 통해 이 루어지는 것이 일반적이다. 현재 대학교육의 학습자 인 대학생들은 대부분 1995년대 이후 태어난 Z 세대 (generation Z)로 이들은 태어날 때부터 이미 그래픽 기능을 겸비한 웹페이지에 노출되어 왔다. 밀레니얼 세대보다 더욱 테크-세비(tech savvy-테크놀로지에 관 심이 많고 능숙한 세대)이며 스마트폰과 태블릿과 함께 자랐다. 하루에 수십, 수백 번씩 스마트폰을 사 용하며 푸시 알림을 통해 대부분의 정보를 전달받는 다. SNS가 없는 세상은 경험해 보지도 못한 세대이 다(Scott, 2016). 교수학습에 있어서도 단순한 온라인 학습지원시스템뿐 아니라, 모바일 등 옴니채널 환경 에서의 여러 가지 학습도구가 적극적으로 도입되고 있는 이유이다.

    본 연구에서는 대학에서 스마트 학습관리 시스템 인 블랙보드가 새로이 도입되는 시점에 학습자의 관 점에서 어떠한 인지적 과정과 평가를 통하여 이를 수 용하는가를 알아보고자 한다. 더불어 테크놀로지 수 용모델을 적용하여 스마트 학습관리시스템인 블랙보 드의 최초 도입 학기에 학습자의 시스템 수용에 대한 이해를 높이고자 한다. 블랙보드 도입 이전에 학생들 이 사용해왔던 기존 온라인 학습지원시스템을 사용해 본 경험의 수준과, 블랙보드 도입 이후 여러 기능에 대한 사용경험의 영향을 알아보고자 한다. 또한 탐색 적인 네트워크 분석 방법을 통해 학습자의 사용 후기 를 분석하여 시스템의 활용에 대한 만족도를 알아보 고, 그 결과를 바탕으로 개선방안을 도출하여 보고자 한다.

    Ⅱ. Literature

    대학환경에서 테크놀로지의 능동적인 도입은 교수 -학습자 간 상호작용 시스템을 컴퓨터, 태블릿, 모바 일 등 다양한 디지털 기기로 연결하는 스마트 러닝 환경 으로 교과목을 재설계하게 만들었고, 따라서 스마트 학습관리 시스템(smart leaning management system, smart LMS)이 국내 여러 대학에서 구축되고 있다 (Kim & Do, 2015). 기존의 온라인 강의지원 시스템 의 기능뿐 아니라 스마트폰 앱과 웹을 연동하며, 오픈 되어 있는 여러 자료를 활용할 수 있도록 설계되었 다. 또한 학생주도형의 스마트 교육(smart education) 이 가능하며, 다양한 종류와 환경의 수업에 맞게 변형 할 수 있는 것이 특징이다.

    학습관리시스템은 교육자료를 관리하고 학습자와 교수자의 활동을 모니터링하며, 학습에 있어서의 여 러 가지를 커스터마이즈 할 수 있는 시스템이다. 이와 같은 플랫폼은 교육환경에 매우 중요한 변화를 일으 켜왔다(Cigdem & Topcu, 2015). 학습관리시스템은 본래 웹사이트가 보편화된 이후 사이버 대학 등 온라 인 강의나 장거리 학습 등을 보조하기 위한 목적으로 시작되었고, 초기에는 성적관리 등 행정적인 지원을 위 해 주로 사용되었으나 점차 토론, 자료 공유, 협업, 채 팅 등 다양한 기능을 탑재하게 되었다. 이와 같은 시스 템은 교육환경에서 시간과 공간의 자유로운 사용 때 문에 지속적으로 개발 및 도입되고 있으나, 효율적인 사용을 위해서는 학습자의 편리성이나 유용성에 대 한 믿음(belief)이 선행되어야 한다(Findik-Coşkunçay, Alkiş, & Özkan-Yildirim, 2018). 교수자의 입장에서 는 해당 시스템의 특성을 활용한 교과내용의 재설계 가 필수적이다. 또한 어떠한 이유로 한 시스템에서 다 른 시스템으로 이동할 때에는 전환에 대한 이해와 계획이 반드시 필요하며(Beatty & Ulasewicz, 2006), 기관에서의 IT에 대한 행정적인 지원 역시 필수적일 것이다(Zheng, Wang, Doll, Deng, & Williams, 2018). Jordan and Duckett(2018)은 사회과학분야 수업을 대 상으로 한 실증적 연구를 통해 교수자는 반드시 학습 자가 온라인과 테크놀로지를 왜, 그리고 어떻게 이용 하는지 이해해야 한다고 하였다. 또한 학습관리도구 의 인터페이스가 불편하거나 수업의 품질(quality)이 보장되지 않는다면 학습관리시스템을 활용하는 것이 오히려 부정적인 영향을 줄 수 있기 때문에, 하루에 수백 번씩 스마트폰을 사용하는 학생이더라도 오히려 오프라인 수업을 선호할 것이라고 하였다.

    블랙보드는 학습관리시스템으로, 2006년 유사 시 스템이었던 WebCT를 인수 합병하는 등의 성장을 지 속하면서 현재 미국과 유럽 중심으로 가장 많이 사용 되고 있다(Al-Busaidi & Al-Shihi, 2010). 학습자가 프 로필을 생성할 수 있으며, 교수자가 교과목을 개설하 여 강의자료를 생성하고, 시험출제 및 과제를 관리할 수 있으며 채점과 성적입력 등의 지원이 가능하다. 학 습자 간 혹은 교수-학습자 간 협업을 위하여 토론과 화상회의 등의 기능이 탑재되어 있으며, 온라인 강의를 업로드 하고 출결을 하는 등 블렌디드 러닝이나 온라 인 강좌에도 활용될 수 있다. 또한 모바일 앱을 활용 하여 멀티 디바이스를 지원한다(Hanyang University Blackboard Support Center, 2018).

    본 연구에서는 스마트 학습관리시스템의 전격적인 도입환경에서 1986년 Davis에 의해 개발된 테크놀로 지 수용모델의 여러 요소를 접목하고자 한다. 이에 따 르면 이용자의 정보기술 수용 및 사용의도에 가장 큰 영향을 미치는 것은, 특정 시스템을 사용하게 되면 자 신에게 이익이 발생할 것이라고 믿는 정도를 의미하 는 지각된 유용성(perceived usefulness)과 특정 시스 템을 사용하는 방법이 자신에게 쉽다고 믿는 정도를 의미하는 지각된 편리성(perceived ease of use)이라는 두 가지 신념 요인이다. 지각된 편리성은 지각된 유용 성에 영향을 미치며, 두 변인 모두 테크놀로지에 대 한 태도(attitude)에 영향을 미친다. 태도는 이후 사용 의도(intention to use)에 영향을 주고, 최종적으로 실 제행동(actual use)에 영향을 미친다. 여기서 유용성 은 태도를 통하여 사용의도에 간접적으로 영향을 미 치기도 하지만, 태도를 통하지 않고도 사용의도에 직 접적인 영향을 준다는 것이 테크놀로지 수용모델의 특징 중 하나로, 태도의 영향이 상대적으로 적을 수 있다는 측면이 보고되기도 하였다(Davis, Baggozi, & Warshaw, 1989). 한편, 지각된 편리성과 유용성에 영 향을 주는 외부 변인으로 해당 테크놀로지에 대한 경 험이 유의한 영향을 주는 것으로 보고되어 왔다. 테크 놀로지 수용모델은 그동안 다수의 연구에서 인터넷, 인트라넷, WorldWideWeb, T-commerce, DMB, 정보 가전, U-캠퍼스, 모바일 등의 수용에 대한 실증연구에 응용되어 그 타당성이 검증되어 왔는데, 교육환경에 서의 학습관리시스템 도입에 대한 선행연구에서도 활 용빈도가 매우 높다.

    Gamble(2018)은 일본의 대학생들을 대상으로 학습 관리시스템의 수용을 실증적으로 연구하면서 테크놀 로지 수용모델이 적합하다고 보고하였다. Hanif, Jamal, & Imran(2018)은 온라인 강좌에 테크놀로지 수용모 델을 적용한 연구에서 지각된 유용성은 태도에 직접 영향을 미치지 않고 행동의도에 유의한 영향을 미쳤으 며, 지각된 편리성만이 태도에 영향을 미친다고 하였다. 지각된 유용성과 편리성에 영향을 미치는 외부 변인 으로 해당 테크놀로지의 사용경험(prior experience)을 제시한 연구들이 있는데(e.g.,Szajna, 1996), WebCT를 머천다이징 교과에 접목한 환경에서 테크놀로지 수용 모델을 검증한 Stoel and Lee(2003)의 연구에서도 사 용경험의 영향력을 검증한바 있다.

    Ⅲ. Methods

    1. Research questions

    실증적 연구를 위하여 설계된 연구문제는 다음과 같다.

    • 연구문제 1. 스마트 학습관리도구(Blackboard learn) 도입 전 학습자의 기존 시스템 사용경 험이 블랙보드 수용에 미치는 영향을 알아본다.

    • 연구문제 2. 스마트 학습관리도구 도입 후 각 콘텐 츠 사용경험이 지각된 유용성과 편리 성에 미치는 영향에 대하여 알아본다.

    • 연구문제 3. 스마트 학습관리도구 수용에 대하여 Davis(1989)의 테크놀로지 수용모델 을 적용하여 본다.

    • 연구문제 4. 스마트 학습관리도구 사용 후기에 대 하여 텍스트 분석을 한다.

    2. Research hypotheses

    연구문제 3과 관련하여 테크놀로지 수용모델의 적 용에 대하여 설정된 가설은 다음과 같다.

    • H1. 블랙보드의 지각된 편리성은 블랙보드 사용에 대한 지각된 유용성에 유의한 영향을 미칠 것 이다.

    • H2-1. 블랙보드의 지각된 유용성은 블랙보드에 대 한 태도에 유의한 영향을 미칠 것이다.

    • H2-2. 블랙보드의 지각된 편리성은 블랙보드에 대 한 태도에 유의한 영향을 미칠 것이다.

    • H2-3. 블랙보드의 지각된 유용성은 블랙보드 사용 의도에 유의한 영향을 미칠 것이다.

    • H3. 블랙보드에 대한 태도는 블랙보드 사용의도에 유의한 영향을 미칠 것이다.

    • H4-1. 블랙보드 사용의도는 블랙보드 사용빈도에 유의한 영향을 미칠 것이다.

    • H4-2. 블랙보드 사용의도는 성적에 유의한 영향을 미칠 것이다.

    3. Measures

    본 연구에서는 전체 학습자의 기존 시스템 경험 정 도를 측정하기 위하여 학습자의 학년을 활용하였다. 경험의 정도를 세분화하지 않고 두 수준으로 구분하 는 경우, 새로운 시스템의 도입을 기준점으로 한 학 년의 구분은 기존 시스템 경험의 절대량과 관련지을 수 있다. 스마트 학습관리도구인 Blackboard Learn이 2018년 2학기에 처음 도입되었으므로 2018년 2학기 현재 2학년 이상인 학생들의 경우, 기존에 대학교 포 털에서 제공하고 있는 온라인 강의실 관리도구를 사 용해 온 경험이 상대적으로 많기 때문이다.

    본 연구에서 한 학기동안 도입된 스마트 학습관리 도구의 콘텐츠로 수업스케줄, 공지사항, 수업자료열 람, 과제제출, 토론, 시험 및 퀴즈, 성적확인, 모바일 어플의 8가지를 활용하였으며, 해당 콘텐츠를 각각 얼 마나 활용하였는가를 5점 리커트 척도로 측정하였다.

    테크놀로지 수용모델의 주요 변인이 되는 지각된 유용성(perceived usefulness), 편리성(perceived ease of use), 사용태도(attitude) 모두 Davis(1989)가 사용 한 척도를 수정 보완하였다. 수정 보완에는 테크놀 로지 수용모형을 학습관리시스템에 적용한 Sezer & Yilmaz(2019)의 학습관리시스템수용척도(learning management system acceptance scale)를 참고하였다. 모든 문항은 5점 리커트 척도로 측정되었다. 지각된 유용성, 편리성, 사용태도는 각각 6문항, 5문항, 3문항 으로 측정되었고, 신뢰도 측정을 위한 Cronbach’s alpha 는 .96, .95, .95이었다. 각 변인의 평균은 5점 만점에 각각 2.58, 2.80, 2.57로 유용성보다는 편리성이 다소 높은 수준으로 나타났다. 사용의도(intention to use)는 사용경험 측정에 활용된 8가지 항목에 대하여 향후의 수업에서 얼마나 사용할 의향이 있는가를 측정하였 다. 각각 5점 리커트 척도로 측정하여 이를 합산한 지 수로 이후 분석에 활용하였다. 종속변인에 해당하는 실제사용(actual use)의 측정에는 두 가지 변인을 활용 하였는데, 먼저 사용빈도를 측정하였다. 일주일에 어 느 정도 블랙보드를 사용하는가를 측정하였는데, 측 정 후 모두 분 단위로 통일하였다. 또한 과목별로 학 습성과를 측정하였는데, 각 과목별 최종 성적을 활용 하였고 과목별 평균과 편차의 효과를 제거하기 위하 여 분석에는 표준점수를 사용하였다.

    한편, 본 연구에서는 학습자들에게 블랙보드를 이 용하면서 느낀 점을 자유롭게 기술하도록 하여 사용 후기를 텍스트분석 자료로 활용하였다.

    4. Data collection and characteristics of respondents

    본 연구는 서울 소재의 대학에서 2018년 2학기 블랙 보드 시스템을 시범 도입하는 강좌의 수강생을 대상 으로 이루어졌다. 도입된 시스템은 Blackboard Learn Ultra 버전이다. 참여한 교과는 1학년 대상, 2/3학년 대상, 그리고 대학원생 대상 총 세 과목이었다. 학기 종료 후 한국사회과학데이터센터를 통하여 온라인 설 문을 생성하였고, 각 교과의 블랙보드에 해당 설문의 URL을 탑재하여 수강생들이 설문에 응답할 수 있도 록 하였다. 응답기간은 한 학기 경험 후인 2018년 12 월 15일부터 31일까지였다. 불성실한 응답을 제외한 81명의 응답을 분석에 사용하였다.

    5. Analysis

    본 학습자의 유사 시스템 사용경험과 블랙보드 콘 텐츠의 사용경험이 블랙보드 수용에 미치는 영향에 대한 분석은 기술통계, t-test, 회귀분석을 사용하였다. SPSS version 23.0을 사용하여 분석하였다.

    테크놀로지 수용모델에 대한 분석은 기존의 연구 에서도 가장 활용빈도가 높고, 측정모형과 잠재모형 을 함께 테스트할 수 있다는 점에서 공분산구조모형 분석방법을 사용하였다. 단, 본 연구에 참여한 응답자 의 숫자가 적고 유용성과 편리성 잠재변인에 대한 측 정모델에서의 수정지수 등을 고려하여 일부 문항이 제거되어 분석에 활용되었다. 분석에는 AMOS version 23을 사용하였다.

    학습자의 사용 후기에 대한 텍스트 분석은 네트워 크 분석 방법을 활용하였다. 네트워크 분석은 사람들 사이의 네트워크를 파악하여 그 네트워크를 통해 사 회적 행위를 설명하는 사회 네트워크 분석(Mitchell, 1969)을 커뮤니케이션 메시지에 적용하여, 메시지를 구성하는 핵심 어휘들의 네트워크 형태로 내용을 분 석하는 방법이다(Kim, Lee, & Lee, 2016). KrKwic을 사용하여 단어의 출현빈도를 산출하고, 노드엑셀을 이용하여 네트워크를 생성하고 시각화하여 텍스트 간 의 관계를 파악하였다. 그 구체적인 방법은 다음과 같 다. KrKwic 소프트웨어가 자동으로 처리하지 못하는 동의어, 파생어 등과 접속사 등의 무의미한 단어들을 제외하는 정제 과정을 거쳐, 블랙보드 사용과 관련하 여 5회 이상 출현한 키워드를 추출하였다. 추출한 키 워드를 바탕으로 노드엑셀 프로그램을 이용하여 블랙 보드 사용 관련 키워드 간의 관계를 살펴보았다. 노드 엑셀 프로그램은 네트워크를 구성하는 단위들인 노드 와 단위들 간의 관계인 링크를 통해 연결 관계를 알아 보는 분석 도구이다. 본 연구에서는 블랙보드 사용과 관련하여 도출된 키워드를 노드로, 키워드 간의 동시 출현 빈도수를 링크로 하여 네트워크를 생성하고, 네 트워크의 시각화를 통해 블랙보드 사용 후기의 키워 드와 그 연결 관계를 해석하는 분석을 진행하였다.

    Ⅳ. Results and Discussion

    1. Effects of students’ experience with local LMS before Blackboard adoption on Blackboard acceptance

    스마트 학습관리도구인 Blackboard Learn Ultra 사 용 전에 기존 포털의 온라인 강의실 학습도구를 활용 한 경험의 정도는 1학년과 2학년 이상으로 응답자를 구분하는 방법으로 분석하였다. 대학원생들은 상대적 으로 인원이 적고, 입학 시점이 달라도 같은 수업을 수강할 수 있으므로 사용 경험 정도의 구분이 명확하 지 않아서 분석에서 제외하였다.

    먼저 지각된 유용성, 편리성, 태도 그리고 사용의도 에 대한 차이를 분석한 결과(Table 1) 모든 변인에서 2학년 이상의 학생들보다 1학년 응답의 수준이 높게 나타났다. 기존 시스템의 사용경험이 적을수록 블랙 보드 활용에 대한 유용성, 편리성, 태도 그리고 사용 의도에 대하여 보다 호의적인 것이다. 기존 시스템과 유사한 기능의 경우 굳이 시스템을 교체해야 할 필요 성을 적게 느낀 고학년 응답자의 의견이 반영된 것으 로 보인다.

    다음으로 향후 각 콘텐츠를 사용할 의도에 대하여 역시 1학년과 2학년 이상으로 구분하여 분석하였다 (Table 2). 8가지 콘텐츠 유형에 있어서 역시 모두 1학 년이 보다 높은 평균치를 보였지만, 스케줄 확인, 공 지사항, 수업자료 열람, 과제제출 등 스마트관리도구 의 행정적인 기능 측면에 대하여는 유의한 차이가 나 타나지 않았다. 토론, 시험 및 퀴즈, 성적확인에 있어 서는 1학년이 유의하게 높게 나타났는데(t=2.00~2.15, p<.05), 특히 모바일 어플의 사용에 대하여는 보다 큰 차이를 나타낸 것을 확인할 수 있었다(t=3.60, p<.01).

    2. Effects of experience with contents of smart LMS after implementing Blackboard on perceived usefulness and ease of use

    Davis(1989)는 테크놀로지 수용모델에 사용된 지 각된 유용성과 편리성에 여러 가지 외부 변인이 영향 을 미친다고 하였는데, 이후 여러 연구에서 해당 테크 놀로지의 사용경험(prior experience)을 유의한 영향요 인으로 언급하였다(e.g., Szajna, 1996). 본 연구에서는 학습자들이 활용한 8가지 콘텐츠에 대한 사용경험을 독립변수로 하고, 지각된 유용성과 편리성을 종속변 수로 한 회귀분석을 실시하였다.

    연구모델의 검증 결과, 블랙보드 사용의도를 향상 시킬 수 있는 지각된 유용성과 편리성에 대한 사용경 험의 영향력을 확인할 수 있었다. 먼저 유용성 지각에 영향을 미치는 블랙보드 콘텐츠에 대해 알아본 결과 (Table 3), 수업계획서 및 수업자료 열람(β=.35, t=2.96) 과 과제제출(β=‒.27, t=‒2.26)이 유용성 지각에 영향 을 미치는 것으로 나타났다. 특히 과제제출은 유용성 지각에 부정적 영향을 미치는 것으로 나타나, 블랙보드 를 통한 과제제출의 필요성이 수업특성에 맞게 확보 되어야 학생들의 블랙보드 사용을 더욱 도모할 수 있 을 것으로 보인다. 스마트 학습관리도구에서 특히 옴니 채널 통합 기능으로 활발하게 사용 가능성이 예상되 었던 모바일 어플의 사용은 그 영향이 유의하지 않게 나 타나, 현재 도입되어 활용된 Blackboard Learn Ultra 모바일 기능의 보완 등이 필요한 것으로 판단된다.

    지각된 편리성에 영향을 미치는 블랙보드 콘텐츠 에 대해 알아본 결과, 수업계획서 및 수업자료 열람 (β=.34, t=2.86)이 유의한 영향을 미치는 것으로 나타 났다. 콘텐츠 중 수업계획서 및 수업자료 열람이 지각 된 유용성과 편의성에 모두 영향을 미치는 결과를 통 해, 블랙보드 사용에서 필수 콘텐츠가 수업계획서와 수업자료 게시 및 열람임을 확인할 수 있었다.

    3. Validation of technology acceptance model

    구조모형의 분석에 앞서 연구모형에 구성된 개념 들이 적절히 측정되었는가를 확인하기 위하여 확인적 요인분석(Confirmatory Factor Analysis: CFA)을 실시 한 후, 요인부하량(Fig. 1), 평균분산추출지수와 개념 신뢰도 적합도 지수(Table 4)를 나타내었다. 본 요인구 조 모형의 적합도에 대한 평가를 위해 표본의 영향을 덜 받는 CFI(comparative fit index)를 비롯해 표본의 크 기에 민감하지 않고 적합도와 간명성을 동시에 고려 하는 지수인 TLI(Tucker-Lewis Index)와 RMSEA (root mean square error of approximation) 등을 이용 하였다(Marsh, Balla, & McDonald, 1988). 본 연구 모 형의 적합도는 χ2=109.82, df=62, p=.000, χ2/df=1.77, GFI=.83, AGFI=.75, NFI=.93, CFI=.97, TLI=.95, RMSEA =.09로 나타났다. CFI와 TLI는 .90 이상이면 적합도가 좋은 것으로 간주되며(Kim, Yang, Um, & Kim, 2005), RMSEA 값 .08 미만이면 양호한 적합도(reasonable fit), .10 미만은 보통 적합도(mediocre fit)로 받아들여진다 (Lee & Im, 2008). 따라서 본 연구 측정모형의 적합성 을 확인할 수 있었다. 구성개념들의 신뢰도(composite construct reliability)는 .93~.95로 .70 이상으로 구성되 어 측정변인들의 높은 내적 일관성을 확보하고 있었 으며, 평균분산추출(AVE)의 제곱근을 통해 판별타당 도를 검증한 결과(Table 4), 모든 변인들의 상관계수 보다 높은 A V E 의 값으로 나타나 판별타당성이 확인 되었다. 측정모델의 판별타당성은 잠재변수의 A V E 값이 그 잠재변수와 다른 잠재변수간의 모든 상관계 수보다 클 경우 판별타당성이 있다고 볼 수 있다(Chin, 1998).

    구성개념 모형의 타당성을 확인한 후, 블랙보드에 대한 지각된 유용성과 편리성이 블랙보드에 대한 태 도 및 사용의도에 어떤 영향을 미치는지 확인하기 위 해 전체 경로모형을 구성하였으며, 이에 대한 검증 결 과를 <Table 5>, <Fig. 1>에 제시하였다. 구조모형의 주 요 적합도 지수는 χ2=128.20, df=99, p=.026, χ2/df= 1.30, GFI=.82, AGFI=.76, NFI=.94, CFI=.98, TLI= .97, RMSEA=.06으로 나타났다. 표본규모와 측정변수에 민감하지 않은 지수인 CFI=.98, TLI=.97, RMSEA= .06 값을 고려해 볼 때, 모형의 적합성을 확인할 수 있었다. 잠재적 모형의 경로계수의 CR값(t값)이 절대 값 1.96 이상이면 유의하다고 판단한다(Hair, Black, Babin, & Anderson, 2010; Table 5, Fig. 1).

    본 연구의 결과는 기술수용 모델을 적용한 경영 정보 및 교육학 분야의 많은 선행연구의 결과(e.g., Legris, Ingham, & Collerette, 2003)와 같이, 지각된 편리성(β=.81, t=8.81)이 유용성 지각에 유의한 영향 을 미치며, 지각된 유용성(β=.52, t=5.76)과 편리성(β =.47, t=5.17)은 블랙보드에 대한 태도에 유의한 영향 을 미치는 것으로 나타났다. 블랙보드 사용을 편하게 생각하는 학생일수록 유용성을 높게 인식하며, 편의 성과 유용성 형성은 블랙보드에 대한 태도 형성에 긍 정적 영향을 미치는 것을 알 수 있었다. 다음으로 지 각된 유용성은 태도뿐만 아니라, 블랙보드 사용의도 (β=.43, t=2.33)에 유의한 영향을 미치는 것으로 나타 났다. 반면, 선행연구의 결과와 달리 블랙보드 사용의 도는 블랙보드에 대한 태도(β=.36, t=1.93)에 유의한 영향을 받지 않는 것으로 나타났다. 즉, 블랙보드의 사용의도를 향상시킬 수 있는 요인은 편의성에 영향 을 받는 유용성 지각임을 확인할 수 있었다. 마지막으 로 블랙보드 사용의도는 블랙보드 사용빈도(β=‒.11, t=‒.937)와 학생들의 성적(β=‒.20, t=‒1.77)에 영향을 미치지 않는 것을 확인할 수 있었다.

    4. Network analysis of user reviews about Blackboard

    블랙보드 사용 후기를 분석한 결과, 43개의 노드(출 현빈도 5회 이상의 키워드)와 638개의 링크를 가진 네트 워크로 형성되었다. 네트워크의 평균 경로길이(average geodesic distance)는 1.263이며, 밀도(graph density) 는 .707이다. 네트워크의 결속 정도를 나타내는 지표 인 밀도는 0에서 1사이의 값을 가지는데, 블랙보드 사 용 후기 네트워크는 전체적으로 조밀한 모습임을 알 수 있다.

    블랙보드 사용 후기에서 가장 빈번하게 등장한 10 개 키워드는 블랙보드(50회), 불편(47회), 좋은(38회), 과제(30회), 제출(28회), 포털(27회), 한양인(25회), 편 한(24회), 익숙(15회), 어플(15회)로 나타났다(Table 6). 긍정적인 키워드와 부정적인 키워드가 동시에 등장하 고 있으며, 이 밖에도 크롬, 어플, 익스플로러, 시스템, 컴퓨터, 모바일 등 이용 디바이스나 브라우저에 관한 언급 및 토론, 수업, 기능, 업로드 등 블랙보드의 메뉴 또는 기능에 관한 키워드와 새로운, 소통, 어려움, 번 거로운, 느린 등의 느낌 및 의견에 대한 키워드가 도 출되었다(Fig. 2).

    블랙보드 사용에서 불편함이 가장 크게 언급되었 는데, 불편함을 느끼는 부분은 기존에 사용하던 온라 인 강의도구와의 비교에서 빈번하게 나타나는 것을 알 수 있다. 기존 시스템과 비교했을 때 구조나 기능, 사용 편리성 등의 면에서 더 나은 점을 느끼지 못하는 것과 두 시스템의 병용으로 인해 수강 과목에 따라 각 각 다른 시스템을 사용해야 하는 것, 시스템 안정화가 미흡한 점 등에서 주로 불편함을 느끼고 있었다.

    “블랙보드가 만들어진 취지나 새로운 기능은 좋은 데(토론 댓글기능) 포털이 있는데 굳이 필요성을 못 느끼겠고, 오히려 여러 과목의 과제를 제출할 때 여기 들어갔다 저기 들어갔다 해서 복잡했다. 일 괄적으로 블랙보드를 사용하는 것이 아니어서 불편 함이 더 커졌고, 과제 제출이나 공지사항을 열람 하는 것도 포털이 훨씬 편리하다. 내년부터 일괄적 으로 블랙보드를 활용한다는 이야기가 있는데, 그 냥 포털을 개선하면 좋을 것 같다. 사용법이 익숙 하지 않아서 그런 것인지 모르겠지만 오히려 수업 자료를 다운 받거나 하는 것이 더 불편했음.” (no. 52, 패션마케팅 수강생)

    글쓰기, 과제 제출(업로드)과 관련한 불편함도 다 수 언급되었는데, 반응 속도가 느린 것과 오류에 대해 공통적으로 불편함을 호소하였고, 제출 후 수정이 불 가능한 것과 제출 여부가 확인이 되지 않는 점 등이 지적되었다. 또한 기타 의견으로는 과제의 익명성이 보장되지 않는 점이 언급되었다.

    “과제 제출할 때 업로드가 잘 되지 않고 한 번 제 출하면 수정이 불가해서 그러한 부분들이 불편했 습니다. 그리고 토론할 때 내가 작성했는지 안 했 는지 확인하려면 내가 쓴 글까지 찾아 내려가야 하는 번거로움도 있었습니다.” (no. 15, 패션마케팅 수강생)

    연결 디바이스 및 브라우저와 관련해서는 긍정적 인 측면과 부정적인 측면이 모두 언급되었다. 전용 애 플리케이션으로 모바일 환경에서 쉽게 이용할 수 있 는 점은 긍정적으로 평가되었으나, 어플이 느리고 불 안정한 부분에 대해서는 부정적으로 평가되었다. 또 한 PC 환경에서 브라우저가 크롬으로만 한정되어 있 는 것도 다수 언급된 불편함 중 하나이다.

    “컴퓨터를 사용하지 않아도 어플로 쉽게 과제를 접할 수 있다는 점이 편했던 것 같다.” (no. 73, 패션 비즈니스 수강생)

    “우선 크롬을 통해서만 들어간다는 사실에 많은 한계점이 있다고 생각한다. 항상 자신의 노트북/컴 퓨터로만 접속하는 것이 아니라 공용 PC에 들어 가는 경우가 많은데, 크롬이 없는 경우 설치하는 것이 매우 번거롭다.” (no. 45, 패션마케팅 수강생)

    블랙보드 사용에서 긍정적으로 평가되는 부분은 앞서 기술하였던 전용 애플리케이션의 사용 편리성 외에 정보 공유, 소통, 참여의 측면이 크게 나타났다. 특히 토론 기능에서 다른 학생들의 의견을 확인할 수 있는 부분이 소통과 참여의 느낌을 주는 것으로 확인 되었다.

    “다른 친구들의 의견을 확인할 수 있는 ‘토론’ 기능 이 정말 좋았던 것 같다. 내 의견을 제출하고 나 서, 친구들의 의견도 하나하나 읽어보았는데, 이 를 통해 우선 친구들의 생각, 나아가고자 하는 방 향에 대해 알 수 있었고, 또한 수업에 대한 각각 의 의견을 읽으면서 내가 미처 생각해보지 못했 던 것에 대해 생각해 볼 수 있었다. 이는 세상을 바라보는 시각을 넓히는 데에 큰 도움이 되었으 며, 친구들에 대한 인식 또한 한층 깊어질 수 있 었다.” (no. 83, 패션비즈니스 수강생)

    Ⅴ. Conclusion

    본 연구에서는 대학교 학습환경에서 스마트 학습 관리시스템인 블랙보드가 도입된 최초 학기에 학습자 들의 수용에 대하여 실증적으로 접근하여 보았다. 한 학기 동안 블랙보드를 사용해본 후 온라인 설문과 사 용 후기를 통하여 실증적 연구의 결과를 도출하였다. 연구결과는 다음과 같다.

    블랙보드 도입 전 학습자의 기존 시스템 사용경험 이 미친 영향에 대한 연구에서 사용자의 기존 시스템 경험이 적을수록 블랙보드 사용에 대한 유용성, 편리 성, 태도, 사용의도 모든 변인이 호의적으로 나타났 다. 스마트시스템으로의 전환에 있어서의 정당성이 충분히 인지되지 못한 결과로 보인다. 향후 블랙보드 사용 의도에 대한 응답에 토론, 시험, 퀴즈, 성적확인, 모바일 어플 사용에 대하여 경험이 적은 학습자가 높 은 의도를 나타내었다.

    한 학기동안 블랙보드를 활용하여 본 경험이 지각 된 편리성과 유용성에 미치는 영향을 검증하여 본 결 과, 수업자료열람은 두 변인에 모두 유의한 영향을 미 쳤으나 과제 제출 콘텐츠는 지각된 유용성에 부정적 인 영향을 주는 것으로 나타났다. 과제제출의 불편함 등이 반영된 결과로 보인다. 한편, 다른 콘텐츠의 사 용은 두 변인에 유의한 영향을 주지 않았다. 특히 스 마트 학습관리시스템의 중요한 특성 중 하나인 모바 일 어플 사용의 영향이 유의하지 않은 것은 현 시스템 의 모바일 앱 기능이 보다 개선되어야 한다는 점을 의 미한다.

    테크놀로지 수용모델의 주요변인에 대하여 유용성 보다는 편리성이, 태도보다는 사용의도가 보다 높은 수준의 평균을 나타내었다. 현재 도입 활용된 블랙보 드 시스템의 유용성과 태도 부분을 강조한 수업설계 와 플랫폼 보완이 필요한 대목이다. 공분산 구조모형 분석 결과, 블랙보드 도입과 활용에 있어서 테크놀로 지 수용모델을 적용한 것이 적합한 것으로 나타났다. Davis(1989)가 설계한 대로 편리성은 유용성에 영향 을 미쳤으며 유용성과 편리성 모두 태도에 긍정적인 영향을 주는 것으로 나타났다. 유용성은 사용의도에 유의한 영향을 주었으나, 태도는 사용의도에 큰 영향 이 없는 것으로 나타났다. 학습자들이 블랙보드에 대 하여 긍정적인 태도나 선호도를 형성하는 것보다 유 용성을 높게 지각하는 것이 사용의도에 영향을 준다 는 해석이 가능하다. 연구에서 실제 행동 변인으로 포 함되었던 사용빈도와 수업성과는 사용의도에 의해 유 의하게 예측되지 않는 것으로 나타났다. 해당 부분에 대하여는 보다 정교한 접근에 기초한 후속연구가 필 요한 부분이라고 생각된다.

    학습자들이 기재한 사용 후기를 텍스트 자료로 활 용하여 키워드를 도출한 후 이를 네크워크 분석으로 분석해 본 결과, 긍정적인 키워드와 부정적인 키워드 가 동시에 등장하는 것으로 나타났으며 디바이스나 브라우저 등 사용 메커니즘에 대한 응답과 블랙보드 기능에 대한 응답 그리고 커뮤니케이션과 관련된 느 낌에 대한 키워드가 도출되었다. 불편함에 대한 부분 에서는 기존에 사용하던 온라인 강의도구와 비교하여 불편한 점을 언급하였고, 시스템이 불안정한 부분 등 이 불편한 것으로 나타났다. 과제 업로드가 불편하며 반응속도가 느린 것에 대하여도 공통적으로 불편함이 나타났다. 애플리케이션 사용은 긍정적으로 평가되는 것으로 나타났으나 브라우저 환경에 따라 접속 용이 성이 다른 부분은 부정적으로 평가된 부분이었다. 한 편, 소통과 참여의 느낌과 관련된 기능에 대하여는 긍 정적인 평가가 많이 나타났다.

    본 연구는 참여한 수업의 규모와 응답인원이 적고 사용경험과 같은 변인이 간접 측정되는 등 한계점이 있으나, 최초 도입 시기에 학습자의 인지와 반응에 대 하여 다양한 방법을 활용하여 구조적으로 검증하였다 는 데 의의가 있다. 현재 시범 시스템 도입 환경으로 시스템 안정화와 사용자 위주의 인터페이스로 도약하 는 것은 향후 과제로 남는다. 또한 스마트 학습지원시 스템의 기능과 특성을 활용한 사전 수업설계와 행정 적 지원 역시 중요한 측면이다.

    Figure

    RJCC-27-5-512_F1.gif

    Results of structural equation model

    a Standardized coefficients

    b When the t-value (C.R.) is ±1.96 or above, it is significant at the p<.05.

    RJCC-27-5-512_F2.gif

    Network of user reviews about Blackboard

    Table

    Effects of students’ experience with local LMS on perceived usefulness, perceived ease of use, attitude, and behavioral intention of Blackboard

    The effect of students’ experience with local LMS on actual use of Blackboard

    Effects of experience with contents of Blackboard on perceived usefulness and ease of use

    Discriminant validity of confirmatory factor analysis

    Hypothesis test results

    Top 20 keywords of degree centrality

    Reference

    1. Al-Busaidi, K. A. , & Al-Shihi, H. (2010). Instructors’ acceptance of learning management systems: A theoretical framework. Communications of the IBIMA, 2010(2010), 1-10.
    2. Beatty, B. , & Ulasewicz, C. (2006). Faculty perspectives on moving from blackboard to the moodle learning management system. TechTrends, 50(4), 36-45.
    3. Chin, W. W. (1998). Issues and opinion on structural equation modeling. MIS Quarterly, 22(1), 7-16.
    4. Cigdem, H. , & Topcu, A. (2015). Predictors of instructors’ behavioral intention to use learning management system: A Turkish vocational college example. Computers in Human Behavior, 52, 22-28.
    5. Davis, F. D. (1989). Perceived usefulness, ease of use, and the user acceptance of information technology. MIS Quarterly, 13(3), 318-339.
    6. Davis, F. D. , Bagozzi, R. P. , & Warshaw, P. R. (1989). User acceptance of computer technology: A comparison of two theoretical models. Management Science, 35(8), 982-1003.
    7. Findik-Coşkunçay, D. , Alkiş, N. , & Özkan-Yildirim, S. (2018). A structural model for students’ adoption of learning management systems: An empirical investigation in the higher education context. Journal of Educational Technology & Society, 21(2), 13-27.
    8. Gamble, C. (2018). Exploring EFL university students’ acceptance of e-learning using TAM. Kwansei Gakuin University Humanities Review, 22, 23-37.
    9. Hair, J. F. , Black, W. C. , Babin, B. J. , & Anderson, R. E. (2010). Multivariate data analysis: A global perspective. NJ: Prentice Hall.
    10. Hanif, A. , Jamal, F. Q. , & Imran, M. (2018). Extending the technology acceptance model for use of e-learning systems by digital learners. IEEE Access, 6, 73395-73404.
    11. Hanyang University Blackboard Support Center (2018). Blackboard user manual: For instructors. Seoul: Hanyang University.
    12. Jordan, M. M. , & Duckett, N. D. (2018). Universities confront ‘tech disruption’: Perceptions of student engagement online using two learning management systems. The Journal of Public and Professional Sociology, 10(1), 1-23.
    13. Kim, J. S. , Yang, H. D. , Um, H. M. , & Kim, J. K. (2005). Consensus of corporate e-learning system stakeholders regarding the satisfaction of end-users. Asia Pacific Journal of Information Systems, 15(4), 27-60.
    14. Kim, J-H. , & Do, J-W. (2015). Analysis of blackboard system in Korea and the united states universities. Journal of Education & Culture, 21(3), 27-56.
    15. Kim, Y. , Lee, J. , & Lee, Y. (2016). Analysis of properties of fashion trading areas using network analysis technique. Journal of the Korean Society of Clothing and Textiles, 40(2), 203-220.
    16. Lee, H. S. , & Im, J. H. (2008). SPSS 14.0 manual: Statistical package for the social sciences. Paju: Bobmunsa.
    17. Legris, P. , Ingham, J. , & Collerette, P. (2003). Why do people use information technology? A critical review of the technology acceptance model. Information and Management, 40, 191-204.
    18. Marsh, H. W. , Balla, J. R. , & McDonald, R. P. (1988). Goodness-of-fit indexes in confirmatory factor analysis: The effect of sample size. Psychological Bulletin, 103, 391-411.
    19. Mitchell, J. C. (1969). Social networks in urban situations: Analyses of personal relationships in Central African towns. Manchester, UK: Manchester University Press.
    20. Scott, R. (2016, November 28). Get ready for generation Z. Retrieved March 1, 2019, from https://www.forbes.com/sites/causeintegration/2016/11/28/get-ready-for-generationz/#7334ba2e2204
    21. Sezer, B. , & Yilmaz, R. (2019). Learning management system acceptance scale (LMSAS): A validity and reliability study. Australasian Journal of Educational Technology, 35(3), 15-30.
    22. Stoel, L. , & Lee, K. H. (2003). Modeling the effect of experience on student acceptance of Web-based courseware. Internet Research, 13(5), 364-374.
    23. Szajna, B. (1996). Empirical evaluation of the revised technology acceptance model. Management Science, 42(1), 85-92.
    24. Zheng, Y. , Wang, J. , Doll, W. , Deng, X. , & Williams, M. (2018). The impact of organisational support, technical support, and self-efficacy on faculty perceived benefits of using learning management system. Behaviour & Information Technology, 37(4), 311-319.

    Appendix