1.1 연구의 필요성과 목적

기록 관리의 패러다임 변화로 기록의 활용이 중요시되면서 기록관의 정보서비스 영역에 대한 관심이 높아졌다. 기록관들은 방문 이용자와 잠재적 이용자들에게 기록의 가치와 유용성을 홍보하고, 기록을 적절한 형태로 가공하여 제공하는 적극적인 기록정보서비스를 강조하게 되었다. 특히 정보기술의 발달로 이용자가 시간과 장소에 구애받지 않고 기록에 접근하고 활용할 수 있는 환경이 마련되면서 이용자들의 온라인 기록정보서비스에 대한 요구가 확대되었다.

국가기록원은 2006년부터 국가기록정보 온라인사이트인 ‘국가기록포털’을 통해 국민들이 보다 쉽게 기록정보에 접근, 활용할 수 있도록 다양한 기록정보콘텐츠를 개발하여 제공하기 시작하였다. 또한 국가기록원은 이용자 중심의 기록정보콘텐츠의 관리와 개발을 위해 이용자 그룹을 일반 이용자, 학생 및 교사, 연구자로 세분화하고, ‘테마, 시리즈, 교육, 컬렉션, 전시’ 5가지 유형으로 나누어 이용자 맞춤형 기록정보 콘텐츠를 구축하였으며, 2018년 현재는 76개의 기록정보콘텐츠를 제공하고 있다(국가기록원 홈페이지, 2018.12.20).

국가기록원이 이용자 맞춤형 기록정보콘텐츠를 효과적으로 제공하려면 실제 이용자가 요구하는 것이 무엇인지 파악하고, 그에 따른 품질 개선을 통해 기록정보콘텐츠의 가치를 높이고 지속적인 이용을 유도해야 한다. 기록정보콘텐츠에 대한 평가와 품질 개선의 중요성은 ‘공공기록물 서비스 표준(NAK 21:2015)’에서도 나타난다. 이에 의하면, 기록정보콘텐츠에 대해 지속적인 이용자 평가를 수행하여야 하며, 그평가 결과를 반영한 적절한 조치를 취해야 한다. 또한 온라인 기록정보콘텐츠의 경우 품질 유지를 위해 5~10년 주기로 평가를 받아 갱신하거나 폐기해야 한다.

국가기록원에서는 ‘2018년 기록정보온라인서비스 구축 사업 계획’을 통해 기록정보서비스의 지속적인 품질 개선을 제시하였으며 구체적인 사업 내용으로, 웹 접근성 준수 의무화에 따른 접근성 개선, 기록정보의 오류 수정 업데이트, 컬렉션의 고도화 등의 개선이 이루어지고 있다. 하지만 실제 이용자를 대상으로 한 평가는 국가 기록원 웹사이트 평가의 일부에 포함하여 진행되고 있어, 각각의 기록정보콘텐츠에 대한 이용자 평가는 이루어지지 않고 있다.

따라서 본 연구에서는 국가기록원에서 제공하는 기록정보콘텐츠 중 컬렉션 유형의 특성을 반영한 사용성 평가영역과 항목을 도출하고, 실제 이용자를 대상으로 ‘독립운동관련 판결문’ 컬렉션의 사용성 평가를 진행하였다. 이를 통해 사용성 평가영역 및 항목이 전체 만족도에 미치는 영향 관계와 중요도를 파악하여 컬렉션의 사용성 향상을 위해 우선시 되어야 할 개선 방향을 제안하고자 한다.

1.2 연구의 범위와 방법

본 연구에서는 국가기록원 기록정보콘텐츠 중 컬렉션 유형의 특성을 반영한 사용성 평가 항목을 도출하기 위해 현황조사와 문헌조사를 실시하였다. 도출된 평가항목을 활용하여 실제 이용자를 대상으로 ‘독립운동관련 판결문’ 컬렉션에 대한 사용성 평가를 수행하였다. 이를 통해 사용성 평가영역 및 항목이 전체 만족도에 미치는 영향 관계와 실제 이용자가 느끼는 사용성 평가 영역 및 항목의 중요도의 차이를 살펴보기 위해 다음과 같은 연구 질문을 설정하였다.

첫째, 사용성 평가영역 및 항목이 전체 만족도에 어떠한 영향을 미치는가?

둘째, 이용자가 중요하다고 여기는 사용성 평가영역 및 항목과 실제 전체 만족도에 영향을 미치는 평가영역 및 항목은 어떠한 차이가 있는가?

이러한 연구 질문을 규명하기 위한 연구 진행 절차는 다음과 같다.

첫째, 문헌조사를 통해 기록정보콘텐츠의 개념에 대해 살펴보았으며, 국가기록원 기록정보콘텐츠 중 컬렉션 유형의 현황을 알아보았다. 또한 사용성의 개념과 사용성 평가방법, 선행연구에서 나타난 사용성 평가항목을 조사하였다.

둘째, 평가영역을 설정하기 위해 국가기록원 기록정보콘텐츠 중 컬렉션 유형의 구성과 기능을 분석하였으며, 사용성 평가영역을 ‘콘텐츠, 검색, 인터페이스’로 설정하였다. 그리고 평가 항목 도출을 위해 기록정보콘텐츠 평가 연구와 웹사이트 사용성 평가 연구, 신뢰할 수 있는 웹사이트 평가도구인 WebQual 4.0에서 제시된 사용성 평가요소를 비교 분석하였다. 이를 토대로 컬렉션 유형에 적합한 사용성 평가항목을 도출하였다.

셋째, 일반적인 컬렉션 유형의 특징을 가지고 있으며, 꾸준히 이용되고 개선되어 온 ‘독립운동관련 판결문’ 컬렉션을 대상으로 이용자 설문 조사를 통한 사용성 평가를 실시하였다. 이를 통해 사용성 평가영역 및 항목이 전체 만족도에 미치는 영향과 중요도를 파악하고자 하였다. 설문 배포는 역사 전공 대학 및 대학원생과 네이버의 대표 역사카페의 역사 전공자를 대상으로 하였다.

넷째, 설문 내용을 토대로 ‘독립운동관련 판결문’ 컬렉션의 사용성과 전체 만족도를 파악하기 위해 기술통계분석을 실시하였다.

다섯째, 가설 검증을 위하여 상관관계 분석, 회귀분석, 다중응답 빈도분석을 실시하였다.

1.3 선행연구

선행연구는 기록정보콘텐츠 평가에 관한 연구와 기록관 웹사이트 사용성 평가에 관한 연구 두 영역으로 나누어 살펴보았다.

기록정보콘텐츠 평가에 관한 연구로 양인호(2009)는 국가기록원이 나라기록포털을 통해 기록정보콘텐츠를 제공하던 시기에 기록정보콘텐츠 구축 현황을 살펴보고, 영국과 일본의 디지털 아카이브에서 서비스하고 있는 콘텐츠와 비교 분석을 실시하였다. 이를 통해 개선방안으로 나라기록포털 사이트의 고도화, 외부 기관과의 협력, 이용자 중심의 다양한 주제 콘텐츠 개발, 콘텐츠 제작 시 다양한 기법의 동원, 웹 접근성 충족을 제안하였다.

김미연(2010)은 국외 기록정보콘텐츠 사례와 나라기록포털의 기록정보콘텐츠를 비교 분석하고, 기록관리학 및 문헌정보학 전공 학생, 기록연구사 및 교육직 공무원, 연구원, 일반 이용자의 만족도 및 요구에 대한 설문조사를 수행하였다. 또한 콘텐츠 공급자인 국가기록원 담당자와 전화인터뷰를 통해 나라기록포털의 현 상황과 개편 계획, 이용자 요구에 대한 공급자의 입장, 콘텐츠 구축과 관리의 어려움 등을 확인하였다. 그 결과 기록정보콘텐츠의 개선방안으로 세분화된 이용자 유형별 콘텐츠와 이용자 가이드, 다양한 주제의 기록정보콘텐츠 제공, 이용자 참여 요소의 도입, 체계적이고 구체적인 콘텐츠 구축 전략과 지속적인 관리, 외부 기관과의 협력을 제시하였다. 또한 기록정보콘텐츠 구축과 제공에 있어 이용자 요구와 만족도 조사 등의 이용자 연구가 기반이 되어야 함을 시사하였다.

정진희(2014)는 국가기록원 기록정보콘텐츠 구축 현황과 개발 계획, 이용현황 등을 살펴본 결과 기록정보콘텐츠의 가치와 활용성에 비해 품질관리가 이루어지지 않고 있음을 인식하고 기록정보콘텐츠 평가지표를 개발하기 위해 콘텐츠 평가 관련 선행연구를 분석하고 기록 고유의 속성을 반영하였다. 개발한 평가지표를 국가기록원의 기록정보콘텐츠 중 전문 콘텐츠(현 컬렉션 유형)를 제외한 주제, 시대·생활, 교육콘텐츠를 대상으로 연구자 본인이 평가를 수행, 비교 분석을 실시하였다. 그 결과 개선방안으로 기록정보콘텐츠의 원문 연결 강화, 모니터단 운영을 통한 신뢰성 향상, 접근성 확보, E-book 형식의 기록정보콘텐츠의 호환성 강화, FAQ 제공을 통한 이용자의 접속 및 이용 가능성 보장, 원본 기록의 가독성 확보, 웹 디자인 개선을 제시하였다.

신주희(2018)는 국가기록원 기록정보콘텐츠 중 하나인 ‘기록으로 만나는 대한민국’ 콘텐츠에 대한 만족도를 파악하기 위해 역사학 전공자를 대상으로 정보품질, 서비스품질, 시스템품질, 가치품질의 네 영역에 대해 설문조사를 수행하였다. 연구 결과 서비스품질, 시스템품질, 가치품질 영역은 전체 만족도에 유의미한 영향을 미쳤으며, 그 중 시스템품질 영역이 가장 높은 영향을 미치는 것으로 나타났다. 개선방안으로 빅데이터 기술을 활용한 주제 추천, 전문성 있는 풍부한 내용 제공, ‘교육’ 주제에 관련한 콘텐츠의 확충 등을 제시하였다.

기록관 웹사이트의 사용성 평가에 관한 연구로 김연희(2010)는 대통령 기록관 웹사이트의 사용성을 개선하기 위하여 일반적인 웹사이트 평가기준과 도서관, 기록관 웹사이트 평가 선행연구를 분석하여 사용성 평가기준을 도출하였다. 국내, 국외 대통령기록관 웹사이트를 대상으로 연구자 본인이 사용성 평가를 진행하였다. 연구 결과 대통령기록관 웹사이트의 사용성을 높이기 위한 개선방안으로 연혁 정보의 추가와 인터페이스 개선, 콘텐츠의 최신성과 정확성, 흥미성 보완, 검색 기능 개선, 커뮤니티의 활성화를 제안하면서, 이용자 요구에 응하는 서비스를 제공하기 위해서는 지속적인 평가와 개선이 필요함을 강조하였다.

서은경, 손주영(2012)은 대학기록관 웹사이트의 질적 향상을 위하여 다각적인 평가와 분석을 수행하였다. 대학기록관 웹사이트를 대상으로 메타분석을 수행한 후 유용성과 웹사용성 만족도, 정보품질에 대한 평가를 진행하였다. 유용성 평가지표로 그리스 정부기관 평가를 위해 Panopoulou 연구팀이 개발한 평가지표를, 웹사용성 만족도 평가지표는 WebQual 4.0을수정·활용하였다. 분석 결과를 토대로 대학 기록관 웹사이트의 개선방안으로 대학기록관의 소개 및 대학기록 활용성에 대한 홍보와 커뮤니케이션 활성화를 위한 방안 모색, 대학기록의 수집과 디지털화를 통한 콘텐츠 보완, 검색 인터페이스 개발을 통한 검색기능의 보완, 호감도를 높이기 위한 디자인과 웹표준의 준수를 통한 보편적 웹접근성을 높이는 것을 제시하였다.

손주영(2012)은 웹 기반 사회에서 대학기록관 웹사이트 품질평가의 필요성을 인식하고, 국내 대학기록관 웹사이트 10곳을 대상으로 웹접근성과 웹품질 평가, 실무자 면담을 진행하였다. 웹품질은 사용성과 정보품질로 구분하여 WebQual 4.0을 활용하였으며, 사용성은 문헌 정보학이나 산업디자인 전공 학부생 50명, 정보품질은 기록관리학 전공자 50명을 대상으로 평가를 수행하였다. 분석 결과를 통해 대학기록관 웹사이트의 개선방안으로 콘텐츠 구축 보완과 검색 기능을 구현하여 이용자가 보다 용이하게 검색하고 브라우징 할 수 있어야 함을 제시하였다.

국외 기록관 웹사이트 사용성 평가에 관한 연구에는 Garoufallou et al.(2013)과 Hickman(2015)의 연구를 찾아볼 수 있었다. Garoufallou et al.(2013)은 디지털 아카이브인 Archive of Hellenic Broadcasting Corporation을 대상으로 사용성을 평가하고, 개선방안을 제시하였다. 문헌정보학 학부생을 대상으로 웹사이트에서 11개의 과제를 수행하게 한 후 ‘Ease of use, Organization of Information, Labeling, Visual Appearance, error Correction’ 5개 평가요소에 대한 사용성 만족도 설문을 진행하였다. 그 결과 Archive of Hellenic Broadcasting Corporation는 검색 기능 및 기술적 측면에서 비효율적인 것으로 나타났다.

Hickman(2015)은 뉴욕 필하모닉 디지털 아카이브 웹사이트를 대상으로 사용성 휴리스틱 평가를 수행하였다. 3명의 사용성 전문가가 가상의 이용자 검색 질의를 만들어 검색을 수행하고, Nielsen의 10가지 휴리스틱 평가요소를 활용하여 평가를 진행하였다. 그 결과 Visibility of system status, Consistency and standards 부분에서 문제가 발견되었으며, 개선방안으로 시스템의 가시성과 인터페이스 디자인의 일관성 향상에 중점을 두어야 하는 것으로 나타났다.

위의 선행연구를 살펴본 결과, 기록정보콘텐츠 개발과 활용에 대한 연구가 중심이 되었고, 기록정보콘텐츠의 평가에 관한 연구는 저조한 편인 것을 확인할 수 있었다. 또한 사용성 평가 요소를 도출하는 방법은 기록관 및 유관기관의 사용성 평가에 대한 선행연구에서 나타난 평가 요소의 비교 분석과 신뢰할 수 있는 평가지표가 활용되는 것을 파악하였다. 기록관 웹사이트의 사용성 평가 연구는 국내는 주로 사용성의 개념을 인터페이스로 국한하거나 웹사이트 전체 품질에 대한 것으로 확대하여 수행되었으나 국외 연구는 인터페이스와 기술적인 측면만을 대상으로 사용성 평가가 진행되었으며, 과제(Task) 수행 후 신뢰할 수 있는 평가지표를 활용하여 사용성을 측정하였다.

본 연구는 국가기록원 기록정보콘텐츠 컬렉션 유형을 대상으로, 실제 이용자 관점의 사용성 평가를 진행하기 위한 평가항목을 도출하였다. 또한, 사용성 평가영역과 각 평가항목이 전체 만족도에 어떠한 영향을 끼치는지 분석하여 사용성 개선에 있어 우선시 되어야 할 중요 요인을 파악하고자 하였다.

2.1 기록정보콘텐츠의 개념과 현황

과거 기록관의 핵심적인 역할은 가치 있는 기록을 효율적이고 체계적으로 보존하는 것이었다. 현재는 기록 보존의 궁극적인 목적이 활용에 있다는 인식이 보편화되면서 이를 지원하는 기록정보서비스가 주목받고 있다. 또한 정보기술의 발달은 이용자들이 시간과 공간의 제약 없이 기록정보에 접근할 수 있게 하였으며, 그 결과 다양한 이용자 유형과 요구가 나타나게 되었다.

이에 따라 기록물이 효과적으로 이용될 수 있게 하기 위해서 기록의 가치를 돋보이게 하고, 이용자들이 보다 더 쉽게 접근할 수 있도록 유도하기 위한 매개체로서 ‘콘텐츠(Contents’가 주목받기 시작했다. ‘콘텐츠’의 사전적 정의는 ‘컴퓨터 인터넷이나 컴퓨터 통신 등을 통하여 제공되는 각종 정보나 그 내용물(국립국어원, 2018)’이며, ‘정보를 제작하고 가공하여 이용자에게 전달하는 정보상품’으로 볼 수 있다. 이미 다양한 영역에서 콘텐츠가 활용되고 있으며, 그로부터 파생되는 부가가치가 매우 높은 것으로 나타났다(양인호, 2010). 기록관은 디지털 아카이브 구축과 이용자의 다양한 요구를 충족하기 위한 효과적인 콘텐츠 제공 방법을 모색해왔으며, 기록정보콘텐츠는 기록관이 소장하고 있는 기록을 효과적으로 홍보하고 제공하는 적극적인 기록정보서비스의 대표적인 유형으로 자리 잡았다.

기록정보콘텐츠의 구체적인 개념을 살펴보면 다음과 같다. ‘공공기록물 서비스 표준(NAK 21:2015)’에서는 기록정보콘텐츠를 “기록정보 콘텐츠란 편찬과 같이 특정 주제나 사건에 대한 기록물을 선별·해설하여 제공하되 주로 온라인 형태로 개발하여 홈페이지 등을 통해 제공하는 것”으로 정의하였다. 국가기록원은 홈페이지를 통해 기록정보콘텐츠를 “사회적 관심이나 열람 요청이 많은 기록물을 누구나 쉽게 활용할 수 있도록 기록물의 특성·주제·시대 등에 따라 묶어서 정리한 것”으로 설명하고 있다. 노명환 외(2017)는 기록정보콘텐츠를 “기록물관리기관에서 소장하고 있는 기록물을 의미 있게 재구성 또는 조직화하여 이용자가 쉽게 검색·활용할 수 있도록 제공하는 이용자 서비스”로 정의하였다.

선행연구에서 제시된 기록정보콘텐츠의 정의를 살펴보면 다음과 같다. 김미연(2010)은 “기록과 그 맥락정보에 대한 데이터베이스가 기본을 이룬 상태에서, 그것을 연관 관계에 따라 구조화하고 해석을 덧붙임으로써 이용자에게 제공되는 정보”로 보았다. 정진희(2014)는 기록정보콘텐츠에 기록의 품질 속성을 반영하여 “진본성, 신뢰성, 무결성이 입증된 가치 있는 기록이 담고 있는 사실정보와 맥락정보를 기반으로 하여 이용자들이 기록에 쉽게 접근하고 활용할 수 있도록 가공·제작되는 디지털형식의 콘텐츠”로 정의하였다. 채지아(2017)는 “기록이 담긴 그 자체의 정보 외에 이용자가 내용을 쉽게 이해하고 흥미를 불러일으킬 수 있도록 추가정보를 더해 가공한 것이며 관련 기록물을 연계하여 온라인을 통해 제공되는 디지털 콘텐츠”로 정의하였다.

기록관리 표준과 선행연구에서 나타난 정의를 종합해보면, 기록정보콘텐츠는 “특정 주제나 사건에 대해 선별된 기록과 그 맥락정보를 기반으로 하며, 이용자의 이해를 돕고 흥미를 유발하는 추가정보를 포함하여 쉽게 접근·활용할 수 있도록 재가공한 디지털 콘텐츠”라 할 수 있다.

국가기록원은 2006년부터 정보화 사업의 일환으로 주제별 기록정보콘텐츠를 개발하기 시작하였으며, 국가의 주요 정책, 시의성이 있거나 시대·생활상의 변화를 보여주는 주제를 선정하여 관련 기록물을 연계한 기록정보콘텐츠를 제공하고 있다. 2018년 현재 국가기록원 홈페이지에서 제공하는 기록정보콘텐츠는 테마 25개, 시리즈 8개, 교육 18개, 컬렉션 13개, 전시 12개로 총 76개이다.

본 연구 대상인 컬렉션 유형 기록정보콘텐츠는 국가기록원이 이용자들의 활용도 제고를 위하여 소장한 기록물 중 특정 주제 관련 기록물을 데이터베이스화하여 개발한 콘텐츠이다. 양인호(2009)는 컬렉션 유형을 구체적으로 “국가기록원이 소장한 주요 기록물군을 대상으로 개요, 생산맥락, 분류체계, 고유의 검색분류체계 등을 제공하는 특화된 서비스”라고 정의하였다.

컬렉션 유형과 테마, 시리즈, 교육, 전시 유형은 구축 목적에 따라 그 성격이 다르다. 테마, 시리즈, 교육 유형의 경우 특정 주제에 관련된 내용에 흥미와 이해를 돕기 위해 소장 기록물 일부를 연계하여 제공하는 정보 제공의 목적이 크다. 그리고 전시 유형은 국가기록원이 개최한 전시회를 온라인으로 제공하는 것을 목적으로 한다. 하지만 컬렉션 유형의 제공 목적은 재산 증빙, 학술연구 등의 목적으로 열람 요청이 많거나, 사회적으로 관심이 높은 특정 주제로 묶인 기록물군을 데이터베이스화하여 이용자들의 직접적인 기록 활용도를 제고하는 것이다. 이용자가 원하는 기록을 검색하고, 기록물철/건 단위로 접근하여 기록을 바로 활용하거나, 신청하는 이용방식을 취한다.

국가기록원에서 제공하는 컬렉션의 현황은 <표 1>과 같다. 국가기록원은 13개의 컬렉션을 제공하고 있으며, 이 중 10개의 컬렉션이 2010년 이전에 구축되었다. 컬렉션 유형은 기록정보콘텐츠 개발 초기에 국가기록원이 소장 중인 기록물군을 대상으로 해제집 등의 편찬물을 활용하여 개발된 것이다. 최근 2017년에 ‘우표와 포스터’, ‘새마을운동 기록물’이 신규로 구축된 것으로 보아 지속적으로 개발되고 있음을 확인할 수 있었다.¹⁾

대상 이용자 집단을 살펴보면 컬렉션 유형 중 9개의 컬렉션이 연구자를 대상으로 구축되었으며, 4개의 컬렉션은 일반 이용자를 대상으로 구축되었다. 컬렉션 유형의 대부분이 역사 분야의 전문적인 주제를 다루고 있기 때문으로 보인다. 대표적으로 ‘조선총독부 기록물’, ‘독립운동관련 판결문’ 등 일제강점기 조선총독부의 기록물 컬렉션은 일제 식민정책 연구자들을 지원하기 위하여 해제집이 발간되었으며, 이를 기반으로 구축되었다.

국가기록원에서 제공하는 국가기록포털 주요 통계를 살펴본 결과 많이 찾는 기록정보콘텐츠 10개 중 5개가 컬렉션 유형인 것을 확인할 수 있었다. 그 중 ‘지적아카이브’가 2,870,336으로 종합 1위였으며, ‘관보’가 835,340으로 3위, 그 뒤 ‘조선총독부 기록물’과 ‘독립운동관련 판결문’, ‘일제강점기 피해자명부’가 포함되었다. 대부분 일제강점기 시기 관련 기록정보콘텐츠로, 연구 목적 혹은 재산 증빙 목적으로 컬렉션 유형 기록정보콘텐츠의 이용이 활발한 것을 알 수 있다.

본 연구에서는 사용성 평가 대상으로 하는 ‘독립운동관련 판결문’ 컬렉션은 국가기록원이 소장 중인 형사사건 판결문 중 독립운동 관련 판결문을 선별하고, 내용 이해를 돕기 위해 판결주문을 번역하고, 사건 개요 및 주제어 등을 작성하여 일반 국민들과 학술 연구자들이 보다 쉽게 검색 활용할 수 있게 하기 위하여 구축되었다.³⁾ ‘독립운동관련 판결문’ 컬렉션을 선정한 이유는 다음과 같다.

첫째, 컬렉션 유형이 가지는 일반적인 구조를 취하고 있다. ‘독립운동관련 판결문’ 컬렉션은 국가기록원이 소장한 형사사건 판결문 중 독립운동과 관련된 판결문, 형사사건부, 집행원부, 수형인명부를 포함하는 기록 데이터베이스이다. 기록에 대한 이해를 돕기 위해 독립운동, 행형기록에 대한 설명정보를 포함하며, 인명검색, 본적·주소검색 등 특화된 검색 기능을 제공한다.

둘째, 국가기록원 웹사이트의 메인화면에 추천콘텐츠로 제공되고 있어 이용자들의 접근이 쉽다. 또한 2018년 11월 페이지뷰 82,194로 많이 찾는 기록정보콘텐츠 4위이며, 누적 이용률 또한 607.560으로 전체 기록정보콘텐츠 중 6번째로 높게 나타났다.⁴⁾

셋째, ‘독립운동관련 판결문’ 컬렉션은 고도화 작업, 접근성 개선 등 지속적으로 관리되고 있다. 현재의 ‘독립운동관련 판결문’ 컬렉션은 2009년에 기존에 구축된 ‘독립운동 판결문’ 컬렉션에 ‘형사사건부’, ‘수형인명부’ 등 독립운동 관련 기록을 추가 제공하여 확대 구축한 것이다. 국가기록원은 ‘독립운동관련 판결문’ 컬렉션의 확대 구축을 통해 독립운동가 발굴 및 독립운동 증빙자료 서비스를 활성화하고, 관련 연구 분야의 활성화 및 일제강점기 기록물의 접근성을 제고하고자 하였다(국가기록원, 2008; 국가기록원, 2009a). 또한 2019년 3·1운동 100주년에 맞춰 온라인 판결문 번역과 더불어 판결문 자료집 발간을 추진하고 있다(국가기록원, 2016a).

2.2 사용성과 사용성 평가

국가기록원의 기록정보콘텐츠는 대부분 독립적인 계층구조를 가지는 웹사이트의 형태로 제공되고 있어 기록정보콘텐츠의 평가와 웹사이트 평가는 공통점을 가진다고 볼 수 있다. 따라서 본 연구에서는 기록정보콘텐츠 평가에 있어 웹사이트 평가 기준 중 하나인 웹 사용성의 개념을 도입하고자 한다.

웹사이트 관리자는 주기적으로 웹사이트의 현황을 분석하고, 개선 방향을 도출하기 위해 평가를 진행해야 한다. ‘행정·공공기관 웹사이트 구축·운영 가이드(행정안전부, 2017)’에 서는 웹사이트 운영의 기본원칙으로 웹사이트 현황의 정기적인 조사·분석과 웹사이트 개선, 통·폐합 등을 통한 대국민 서비스 강화에 노력해야함을 명시한다. 웹사이트는 일반적으로 웹 표준과 웹 접근성의 준수, 사용성, 정보의 품질, 이용자 만족도 등으로 평가된다. 웹 표준과 웹 접근성의 준수는 국제적으로 당연시되고 있으며, 국가 차원에서 의무화가 진행되었다. 행정안전부는 2009년 ‘전자정부 웹표준 강화 종합대책’을 발표하여 2011년부터 대국민 서비스를 제공하는 전자정부 사이트의 웹 표준 준수가 의무화하는 것을 추진목표로 세웠다. 또한 장애인차별금지법 제21조⁵⁾와 동법 시행령 제14조 2항⁶⁾의 단계적 적용에 따라 2013년 4월부터 공공기관과 법인의 모든 웹사이트에서 웹접근성을 준수하는 것이 의무화되었다.

사용성(Usability)은 소프트웨어 공학의 ‘인간과 컴퓨터의 상호작용(HCI: Human Computer Interaction)’에 기반한 개념으로 연구자나 목적에 따라 다양하게 정의된다. 소프트웨어 제품의 품질 모델인 ISO 9126-1은 사용성을 “소프트웨어 제품이 특정 조건 하에 사용될 때 이용자에게 이해되고, 학습되고, 사용되고, 매력적이게 될 수 있는 기능”으로 정의한다. IEEE 표준용어집에서는 “이용자가 시스템 사용을 위해 배우고, 입력을 준비하고, 시스템이나 컴포넌트의 출력을 해석하는 것 등이 용이함”이라고 정의하며, HCI 분야에서 사용성 안내 표준인 이하 ISO 9141-11에서는 사용성에 대해 “특정 이용자가 특정 맥락에서 특정 목표를 달성하기 위해 시스템, 제품 또는 서비스를 사용할 때 효과성, 효율성 및 만족도에 대한 것”으로 정의한다.

사용성은 좁은 의미로는 원하는 목적을 얼마나 효율적으로 달성하는지를 의미하며, 넓은 의미로는 시스템을 사용하는 환경에 관련된 모든 요소를 포함하는 개념으로 나타난다. 소프트웨어 공학에서 발생한 사용성의 개념은 그 중요성이 강조되면서 웹으로 영역이 확장되었다. 웹은 방대한 양의 정보를 가지고 있으며, 제대로 구조화되지 못한 경우 이용자가 웹사이트를 이용하면서 나아갈 방향을 상실하거나 원하는 목적을 망각하는 문제가 발생한다. 사용성은 웹사이트를 이용자의 입장에서 바라보며 이용자가 효율적이고 효과적으로 웹을 이용하고, 이용하면서 겪을 문제를 방지하고 해결함으로써 개선된다(현미환 외, 2011).

Nielsen(2000)은 사용성을 “특별한 훈련 없이 이용자가 웹사이트와 상호작용을 쉽게 잘하도록 할 수 있게 하는 것이며, 이용자 관점의 직무 수행”으로 보았다. 또한 사용성을 시스템 수용성(System Acceptability)의 측면에서 정의하였다. 시스템 수용성은 시스템이 이용자뿐만 아니라 구매자, 관리자, 그 외의 제 3자의 요구(Needs)와 요구사항(Requirements)을 얼마나 잘 충족하는가를 의미한다. 사용성은 실재적 수용성 중 유효성(Useful)에 포함되는 개념으로 ‘시스템의 기능을 얼마나 쉽고 쾌적하게 사용할 수 있는가’를 나타낸다.

선행연구에서 나타난 사용성에 대한 정의를 살펴보면 임성호(2009)는 사용성을 전혀 새로운 개념의 웹사이트 디자인 원칙이 아닌 지금까지 여러 연구에서 언급된 기준들을 종합하는 개념으로 보았다. 전홍대(2008)는 이용자가 추구하는 목표를 달성할 수 있도록 시스템을 디자인하는 것으로, 이용자의 목표에 따라 사용성의 역할과 평가영역이 결정된다고 보았다. 현미환 외 3인(2011)은 웹 사용성은 단순히 웹사이트 인터페이스가 물리적으로 사용하기 편리한가에서 나아가 감성적 측면과 문화까지 포함하는 개념으로 발전할 수 있다고 하였다.

사용성은 웹사이트의 구축단계에서부터 고려되어야 하며, 웹사이트의 라이프 사이클 내에서 지속적으로 평가되어야 한다. 사용성 평가를 통해 이용자 중심 디자인을 달성함으로써 이용자의 시각에 맞춰 웹사이트를 운용, 개선할 수 있다. 또한 좋은 사용성은 좋은 사용자 경험(UX)을 창출한다. 사용자 경험(UX)은 이용자가 어떤 제품이나 서비스를 직·간접적으로 사용하면서 축적되는 총체적 경험을 의미하며, 이용자의 요구와 만족, 브랜드 충성도 향상 등에 영향을 준다. 사용성 개선을 통해 이용자 성향에 맞는 서비스를 제공하고 이용자의 관심과 흥미를 이끌어 낼 수 있으며, 지속적인 재방문을 유도할 수 있을 것이다.

일반적으로 사용성 평가는 엄격하게 통제된 환경 속에서 이용자의 행동을 관찰하며 진행된다. 평가자는 이용자가 목표 달성을 위해 웹사이트에서 수행할 수 있어야 하는 중요한 작업들로 구성된 과제(Task)를 수행한다. 평가자가 과제에 대한 답을 찾게 하여 현실적인 사용성 평가를 가능하게 하며, 과제 정답율, 해결 속도 등 정량적인 결과를 평가에 활용할 수 있다. 과제의 수행 여부에 따라 실제로 지각된 사용성과 평가자가 자유롭게 웹사이트를 살펴보고 평가를 진행한 포괄적인 인지적 사용성으로 구분된다.

또한 평가의 주체에 따라 전문가에 의한 분석적 평가와 이용자에 의한 실증적 평가로 구분할 수 있다. 전문가에 의한 분석적 평가는 비교적 저렴하고, 빠른 시간 내에 문제점을 파악하고 해결책의 제시가 가능하며, 특별한 장비를 필요로 하지 않으며 개발 단계 초기에 시행이 가능한 장점을 가진다. 단점으로는 전문가의 편견이 개입될 가능성이 있으며, 발견된 문제점이 이용자에게는 큰 문제가 아닐 수 있고, 이용자의 의견을 들을 수 없다. 이용자에 의한 실증적 평가는 이용자의 행동을 통해 직접적인문제점을 관찰할 수 있으며, 이용자의 의견을직접 들을 수 있는 장점을 가진다. 단점으로 시간과 비용이 많이 든다.

사용성 평가의 목적은 이용자가 웹사이트에서 효율적이고 효과적으로 목적을 달성할 수 있도록 이용자의 관점에서 웹사이트를 디자인하는 것이다. 변대호(2010)는 사용성 개선을 위해서는 전문가와 이용자 집단의 평가가 모두 필요하며, 전문가 집단은 사용성을 나타내는 평가기준을 평가해야 하며, 각 평가기준에 따라 웹사이트들이 얼마나 사용성을 충족하고 있는지 여부는 실제 웹사이트를 사용하는 이용자들이 평가하여야 한다고 하였다.

3.1 사용성 평가영역 분석

사용성 평가영역을 도출하기 위해 국가기록원 기록정보콘텐츠 중 컬렉션 유형의 구성과 기능에 대해 살펴보았다.

컬렉션 유형은 대부분의 기록정보콘텐츠와 같이 개별적인 URL을 지니는 계층구조의 웹사이트 형태를 취하고 있다. 하지만 다른 유형의 기록정보콘텐츠와 목적과 성격이 다르기 때문에 구성이나 기능에 있어 차이가 있다. 컬렉션 유형은 전문적인 성격의 기록을 대상으로 하여 이용자가 기록물의 특성과 내용을 이해할 수 있도록 컬렉션의 구축목적, 현황 등에 대한 정보, 관련된 사이트, 타 기관 소장 기록 등 다양한 정보를 제공한다. 는 기록정보콘텐츠를 구성하는 정보를 성격에 따라 내용정보, 배경정보, 부가정보로 구분할 수 있다.

내용정보는 기록정보콘텐츠가 실제로 다루고자 하는 주제를 직접 설명하는 정보이며, 주제와 관련된 기록과 이에 관한 시대별 변천사 등의 ‘설명정보’를 포함한다. 배경정보는 기록정보콘텐츠의 구축 목적과 개요, 구성요소의 설명을 제공하는 정보이다. 부가정보는 이용자가 기록정보콘텐츠를 보다 용이하게 이용할 수 있도록 제공되는 퀴즈, 게임, 용어집, 검색도구, 참고 자료, 사이트맵 등의 부가적인 도구로, 내용정보를 뒷받침한다(양인호, 2009).

컬렉션 유형 역시 내용정보, 배경정보, 부가 정보로 구분할 수 있다. 다만 각 정보가 차지하는 비율에 있어서 다른 유형의 기록정보콘텐츠와 차이가 있다. 컬렉션 유형은 방대한 기록물군이 데이터베이스화된 것으로 내용정보 중 주제에 대해 집필된 설명보다 실제 대상 기록의 비율이 더 크며, 방대한 기록물군은 이용자의 요구 충족을 위해서 매우 중요하다. 또한 컬렉션 유형의 대부분이 전문적인 주제 분야이므로 이용자가 기록물의 특성과 내용을 이해할 수 있도록 설명하는 정보가 제공된다. 그리고 효율적인 기록정보콘텐츠 이용을 위한 컬렉션의 구축 목적, 현황 등의 배경정보가 있으며, 관련된 기록정보콘텐츠, 사이트, 타 기관 소장 기록 정보 등 다양한 부가정보를 함께 제공되고 있다.

컬렉션 유형은 통합검색, 상세검색 등 일반적인 검색방식과 더불어 각각의 기록물군의 특성에 맞는 다양한 검색방식과 브라우징을 메뉴에서 제공하여 이용자가 원하는 방식으로 검색할 수 있다. 접근점 또한 기록 특성을 반영하여 기록물군, 기록물철과 더불어 형태별, 인명, 옛 지명, 지역, 기능 등 다양하며 ‘독립운동관련 판결문’ 컬렉션의 경우 형행기록 특성에 맞게 죄명을 접근점으로 제공하고 있다. 이러한 검색방식과 접근점은 이용자 그룹에 따라 전문적인 배경 지식을 필요로 하기도 한다.

대부분의 컬렉션 유형의 기록정보콘텐츠는 데이터베이스화 현황에 따라 뷰어를 활용하여 원문과 해제를 열람할 수 있다. ‘독립운동관련 판결문’ 컬렉션이나 ‘조선총독부 기록물’ 컬렉션 등 해제집이 발간된 컬렉션의 경우 대부분의 디지털 원문과 더불어 번역문이 제공되고 있었다. 원문이용이 불가능한 기록의 경우 온라인 사본 신청 링크를 제공하여 이용자가 기록을 활용할 수 있도록 지원하고 있다. 뷰어는 기록물 철에 포함된 전체 기록물 건을 북마크로 구분하여 이동이 편리하며, 확대/축소, 회전, URL 복사, 전체인쇄, 부분인쇄 등 이용자의 편의를 돕는 기능을 제공하고 있다.

3.2 선행연구의 사용성 평가요소 분석

앞서 웹사이트 사용성 평가 선행연구를 살펴 본 결과 사용성 평가항목을 도출하는 방법으로 WebQual, Nielsen의 휴리스틱 지표 등 신뢰할 수 있는 평가지표를 활용하거나, 기존 선행연구에서 제시되었던 평가요소를 종합하여 유의한 요소를 도출하는 방식으로 진행하는 것을 확인할 수 있었다.

따라서 이 장에서는 기록정보콘텐츠 평가 선행연구와 웹사이트의 사용성 평가 선행연구, 신뢰성이 입증된 웹사이트 평가도구인 WebQual에서 나타난 평가요소 중 콘텐츠, 검색, 인터페이스 영역에 해당하는 평가요소를 살펴보았다.

3.3 사용성 평가항목 도출

앞서 컬렉션 유형의 사용성 평가항목을 도출하기 위하여 기록정보콘텐츠 평가 선행연구 3건과 웹사이트 사용성 평가 선행연구 8건에서 나타난 사용성 평가요소를 살펴보았다. 공통적으로 나타난 요소를 중심으로 종합한 결과 <표5>와 같이 나타났다.

콘텐츠와 인터페이스 영역은 WebQual 4.0에서 제시된 항목이 선행연구 분석을 통해 나타난 평가요소를 충분히 수용할 수 있다고 판단하여 WebQual 4.0을 기반으로 항목을 작성하였다. 검색 영역은 선행연구 분석을 통해 도출된 평가항목들을 종합하는 방식으로 진행하였다.

콘텐츠 영역의 평가요소로 다양성, 이해성, 신뢰성, 정확성, 전문성, 최신성을 도출하였다. 이에 대한 항목으로 WebQual의 정보품질 영역을 활용하였다. 컬렉션이 이용자가 목표를 달성하기에 다양하고 충분한 양의 기록정보를 포함하고 있는지 평가하기 위해 ‘기록정보콘텐츠가 양적으로 풍부하다’ 항목과 ‘관련된 정보를 제공하고 있다’ 항목을 설정하였다. 또한 최신성을 평가하기 위해 ‘기록정보콘텐츠가 지속적으로 업데이트 되고 있다’ 항목을 설정하였다. 기록정보의 이해를 돕는 배경정보와 설명 정보를 제공하는지를 평가하기 위해 ‘기록정보 콘텐츠의 이해를 돕는 정보를 제공하고 있다’를 설정하였으며, 기록정보콘텐츠의 전문성을 평가하기 위해 ‘기록물의 상세 정보를 제공하고 있다’로 설정하였다.

검색 영역의 평가요소로 검색용이성, 다양성, 정확성, 검색 결과 활용, 검색 결과 표현, 검색 도움말을 도출하였다. 검색 속도의 적절함은 선행연구에서 나타나지 않았으나 컬렉션 유형 중 10개가 2010년 이전 구축되어 평가 항목으로 추가하였다. 또한 원문 이용에 대한 항목은 선행연구에서 검색 영역 혹은 콘텐츠 영역의 작은 부분으로 포함되어 있었으나 컬렉션 유형 기록정보콘텐츠를 이용하는 주된 목적이므로 추가하였다.

인터페이스 영역의 평가요소로 사용용이성, 네비게이션, 디자인, 상호작용, 이용자지원을 도출하였다. 이에 대한 항목으로 WebQual의 사용성 영역을 활용하였다. 사용용이성은 ‘사용하기 쉽다’와 ‘원하는 기능이 제공되고 있다’ 항목으로 웹사이트 전반적인 사용용이성과 기능으로 구분하였다. 네비게이션은 이해를 돕기 위하여 ‘메뉴 간의 이동이 쉽다’로 설정하였다. 디자인 요소는 ‘디자인의 호감도가 높다’와 ‘디자인이 기록정보콘텐츠의 목적에 적합하다’로 구성하였다. 상호작용을 평가하기 위하여 ‘상호작용이 명확하며 이해하기 쉽다’ 항목을 설정하였다. 이용자지원에 대한 항목으로 웹사이트 사용방법에 대한 학습용이성을 평가하고자 ‘사용하는 방법을 배우기 쉽다’로 설정하였다. ‘기록정보콘텐츠의 사용이 나에게 좋은 경험이 된다’ 항목은 선행연구의 사용성 평가요소로 나타나지는 않았으나 사용성을 포괄하는 사용자 경험(UX)에 대한 평가항목으로 추가하였다.

선행연구와 WebQual에서 도출한 사용성 평가요소를 활용하여 3개 영역, 24개 평가항목을 설정하였으며, 자세한 내용은 <표 6>과 같다.

4.1 평가대상 및 설문지 구성

평가의 대상인 ‘독립운동관련 판결문’ 컬렉션은 국가기록원이 소장한 형사사건 판결문 중 독립운동과 관련된 판결문, 형사사건부, 집행원부, 수형인명부를 포함하는 기록정보 데이터베이스이다. 기록에 대한 이해를 돕기 위해 독립운동, 행형기록에 대한 설명정보를 포함하며, 인명검색, 본적·주소검색 등 특화된 검색 기능을 제공하고 있어 일반적인 컬렉션 유형의 구조를 따르고 있으며, 높은 이용률과 최근까지 개선되어 평가 대상으로 선정하였다.

본 설문의 목적은 ‘독립운동관련 판결문’ 컬렉션을 대상으로 사용성 평가를 진행하여 사용성이 전체 만족도에 미치는 영향을 평가영역별, 평가항목별로 살펴보고 이용자가 생각하는 사용성 평가영역 및 평가항목의 중요도를 파악하는 것이다. 따라서 평가자의 일반적인 특성 5문항, 기록정보의 이용빈도 및 컬렉션 사용 경험 여부 등 4문항, 사용성 평가 24문항, 전체 만족도 1문항, 사용성 평가영역 및 평가항목 중요도 4문항으로 총 38문항으로 구성하였다. 사용성 측정방법은 Likert 7점 척도를 사용하여 보다 세밀하게 이용자의 반응을 분석하고자 하였다. 사용성 평가영역은 1~3순위로 응답하도록 하였으며, 평가항목은 중요하다고 생각하는 항목을 3개까지 선택하도록 설정하였다.

4.2 자료수집 및 분석방법

설문조사 표본 추출을 위해 컬렉션 유형의 주 이용자 집단인 연구자를 대상으로 설정하였다. 또한 컬렉션 유형 대부분이 역사 관련 주제로 구성되어 있으며, 사용성 평가 대상인 ‘독립운동관련 판결문’ 컬렉션의 특성을 반영하여 역사학 전공 대학원생 커뮤니티와 대학의 근현대사 수업을 수강 중인 대학생을 대상으로 Google 설문지 링크를 공유하였으며, 회원 수 7만 명 가량의 네이버 대표 역사 카페인 ‘부흥’에 게시하여 의 역사학 전공자를 대상으로 참여하도록 하였다. 설문지 응답에 앞서 설문 참여자들이 ‘독립운동관련 판결문’ 컬렉션을 자유롭게 사용하도록 유도하였고, 조사 기간은 2018년 10월22일부터 11월 10일까지 20일 동안 진행하였다. 설문 참여자는 불성실한 응답을 제외하고 총 120명이었다.

본 연구를 수행하면서 회수된 자료에 사용된 구체적인 실증분석방법은 다음과 같다.

첫째, 조사대상자의 일반적인 특성을 알아보기 위하여 빈도분석을 수행하였다.

둘째, 사용성 평가영역별 평균과 응답 분포를 알아보기 위하여 기술통계를 수행하였다.

셋째, 영역별 사용성이 ‘독립운동관련 판결문' 컬렉션의 전체 만족도에 미치는 영향 관계를 살펴보기 위하여 상관관계분석(Correlation Analysis)을 수행하였다.

다섯째, ‘콘텐츠, 검색, 인터페이스’ 영역의 사용성이 ‘독립운동관련 판결문’ 컬렉션의 전체 만족도에 미치는 영향을 살펴보기 위하여 단순회귀분석(Simple Regression Analysis)을 수행하였다.

여섯째, 각 사용성 평가영역별로 세부 평가항목이 ‘독립운동관련 판결문' 컬렉션의 전체 만족도에 미치는 영향을 살펴보기 위하여 다중회귀분석(Multiple Regression Analysis)을 수행하였다.

일곱째, 사용성 평가영역의 우선순위 분석과 중요하다고 생각하는 세부 평가 항목을 알아보기 위해 다중응답 빈도분석을 수행하였다.

본 연구의 실증분석은 모두 유의수준 p＜.05에서 검증하였으며, 통계처리는 SPSSWIN 23.0 프로그램을 사용하여 분석하였다.

4.3 평가결과