Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

대학도서관 평가지표와 성과분석사례

20121015
by

hyemi lee

on 17 October 2012

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of 대학도서관 평가지표와 성과분석사례

1. 도서관 평가 이론적 배경 2. 도서관 평가 4. 업무평가(통계데이터중심)와 성과평가 3. 대학 도서관 평가 대학 도서관 평가지표와
성과 분석 사례 2012. 10. 18
영진전문대학도서관 정진한
(jinhan@yjc.ac.kr) 1. 도서관 평가 이론적 배경

2. 도서관 평가

3. 대학도서관 평가

3.1 교육과학기술부의 대학도서관 시범평가
3.2 전문대학의 기관평가인증

4. 업무평가(통계데이터중심)와 성과평가
4.1 업무평가
4.2 성과평가(이용자 만족도)

5. 영진전문대학도서관 성과 분석
(평가지표의 자체 활용, 실적자료집)

6. 결론
목차 ● 개념 도서관평가 : 도서관의 구성요소, 기능, 서비스 등을 개별평가하거나
종합하여 다른 도서관과 비교 또는 상대적 우열을 판정하는 것


- 거시적 사례 : 정책평가, 서비스평가, 도서관 건립의 타당성평가

- 미시적 사례 : 장서평가, 목록업무의 아웃소싱 평가, 분실방지시스템의
경제성 평가, 이용자 만족도 평가 ● 도서관 경영평가의 계보와 유형
① 1950년대 시카고 학파의 ‘독서흥미조사’로 시작

② 1960-90년대 전통적 도서관의 서비스 평가(대출밀도, 장서회전율, 이용가능성,
성과측정 등), 전통적 도서관의 이용행태이용자 연구(평균 이용자상, 이용에
영향을 미치는 요인, 이용행동 등)

③ 현대 LibQUAL+(서비스품질), ISO11620(고객만족도), 성과(영향)평가 ● 도서관 평가의 단계와 절차 평가목적의 설정과 명확화 평가계획의 수립
(평가기준, 조사방법과 일정, 역할분담, 보고서 작성요령 등) 평가지표 및 척도의 개발
(지표의 구성, 배점과 가중치, 척도 구성 등) 예비조사 및 테스트
: 본조사의 부실과 오류를 방지하기 위한 사전단계, 조사과정 의견제시와 데이터 분석결과를
평가계획 및 지표(척도)내용을 수정보완하기 위한 피드백 과정
본조사와 데이터 수집
: 업무통계(대출통계, 장서통계, 자료구입비 등의 정량적 평가)와
조사통계(설문조사, 방문조사, 면담 등의 정성적 평가)
수집데이터의 분석과 해석
(평가기준과의 비교, 통계학적 분석)
추가조사와 분석 보고서 작성 ● 평가지표의 효과 ①경제성 : 도서관 투입요소에 주목하여 적절한 물량과 품질의 인적 및 물적 자원을
최소 비용으로 입수하거나 투입하는 것, 예를 들어 연간 10만권의
대출목표를 달성하는데 투입인력과 비용이 적을수록 경제성이 높은
것으로 평가

②효율성 : 도서관의 투입과 산출의 상관관계에 주목하여 어떤 업무나 서비스의
투입자원에 대한 산출결과로 도서관 경영활동의 효율성 여부를 판단,
예를 들어 도서관의 시간당 서비스 건수가 많을수록 효율성이
높은 것으로 평가

③유효성 : 도서관의 목표, 산출물, 성과(외부효과)의 상관성에 주목하는
목표지향적 관점
● 국제표준기구(ISO)의 도서관 성과지표

① ISO는 세계표준화 주도 국제기구, 1998년 도서관 평가와 관련된
최초 국제규격 ‘ISO 11620(Library Performance Indicator) 제정
② 2008년 개정된 제2판 발간, 4개 대영역(자원, 접근인프라, 이용, 효율성,
잠재적 발전가능성), 15개 분야로 구성
● 우리나라의 도서관 평가 ● 기타 평가 ● 평가방식의 변화 업무평가
(내부적 필요성, 통계데이터 중심 정량적 평가) 성과 평가
편익평가
(외부 평가 수용, 정성평가)
● 도서관 평가의 강화

① 전통적으로 도서관 평가는 업무통계(자료구입비, 소장책수, 연차증가량, 대출책수,
ILL/DDS 건수, 참고서비스 실적, 등록자수, 방문자수, 1인당 연면적 및 좌석 수 등)
를 전년도 데이터 또는 당해연도의 목표치와 단순 비교하여 연간 실적으로 판단

② 이러한 지표는 경제성, 효율성, 유효성과 무관하고 특히,
경영성과를 판단할 수 없다는 비판

③ 경제성과 효율성을 판단하는 지표 개발, 예를 들어 도서관 방문자수를
봉사대상인구 대비 방문자수로, 소장책수를 봉사대상인구 1인당 책수로,
연간 대출실적을 1인당 대출수로, 자료구입비 대비 연간 서비스 실적 등으로 구체화
- 등록율: 실질등록수 / 자치단체 인구 × 100
- 장서신선도: 연간 수입책수 / 소장책수 × 100
- 장서회전율: 연간 대출책수 / 소장책수
- 대출밀도: 연간 대출책수 / 봉사권역의 정주인구
- 실질 대출밀도: 연간 대출건수 / 도서관 등록자수
- 야간 대출밀도: 연간 대출건수 / 직장인학생의 등록수

④ 이러한 지표 역시 투입 대비 산출 효율성을 평가하는 지표이며,
사회경제적 가치를 평가할 수는 없음

⑤ 고객 만족도가 대표적인 성과지표
● 서비스 만족도 평가의 적용

① 많은 도서관이 자체 작성한 척도(5점 내지 7점)의 질문지 배포나 인터뷰 형식으로 만족도 조사

② 최근에는 국제적 표준화된 질문지를 평가도구로 활용, 대표적인 것이 LibQUAL+
(1985년 Parasuraman 이 개발, 1995-1999년에 도서관에 맞게 변형한 것

③ 3개 범주 또는 차원(서비스 자세, 장소로서의 도서관, 정보관리) 22개 문항

④ LibQUAL+의 핵심개념은 갭이론(gap theory, 격차이론)을 바탕으로, 최소수준,
바람직한 수준, 인식수준을 체크하고 이들의 차이로 서비스 만족도 평가
- 최소 수준: 이용자 입장에서 도서관이 제공해야 한다고 생각하는 최소한의 서비스 수준
- 바람직한 수준: 이용자가 도서관에 기대하는 바람직한 서비스 수준
- 서비스 인식수준: 이용자가 제공받은 도서관 서비스에 대해 실제로 인식하는 수준 ● LibQUAL+가 각광받는 이유

① 상이한 도서관간 및 서비스 설정에 대한 공통적인 비교 기준을 제공하는 도구

② 이용자의 기대수준과 인식수준의 차이를 비교함으로써 서비스 품질의 적절성 및
우수성, 요구에의 적합성 등 평가

③ 상호비교의 기준을 산출하고 평가하는데 사용할 수 있음
● LibQUAL+ 구성자원

① 서비스 자세(Service Affect)
- 공감성(Empathy), 응답성(Responsiveness), 확신성(Assurance), 신뢰성(Reliability)의 요소가 포함
- 도서관 서비스를 제공하는 사서와 관련된 차원
- 사서의 업무파악 능력, 이용자에게 신뢰감을 심어줄 수 있는 능력, 이용자의 요구를 잘 이해하는지 등에 관한 정도

② 장소로써의 도서관(Library as Place)
- 물리적인 시설, 설비를 포함
- 연구, 그룹 스터디, 세미나를 위한 공간 등과 같이 이용자들의 실제적인 요구를 수용할 수 있는 개념의 공간

③ 정보관리(Information Control)
- 이용자 스스로 필요한 정보를 자신이 원하는 형태로 접근할 수 있도록 하는 도서관 자원에 관한 것
- 다양한 범위의 자료를 인쇄자료 및 전자자료로 소장하고 있는지, 이용자가 필요로 할 때 즉시 손쉽게 찾을 수 있는지, 원격 접속으로 언제 어디서나 정보에 쉽게 접근할 수 있는지 등을 평가
●LibQUAL+ 평가방법

①서비스에 대한 이용자 기대치를 최소 수준(Minimum Service Level), 바람직한 수준(Desired Service Level), 인식 수준(Perceived Service Performance)으로 구분하고 22개 항목으로 서비스 품질 측정

②서비스 적정도(Service Adequacy) = 인식 수준 - 최소 수준
(Negative)는 서비스에 대해 불만족, +(Positive)는 기본적인 요구사항 만족

③서비스 우위도(Service Superiority) = 인식 수준 - 바람직한 수준
- (Negative)는 기본적인 요구사항만 만족, +(Positive)는 이상적인 최고의 만족수준
● LibQUAL+의 도서관 서비스 품질 차원 22개 항목 ● 사회경제적 가치평가

도서관의 가치:
- 이용자가 도서관과 자료와 서비스를 이용함으로써 초래되는 현재적 가치(직접적 이용가치(본연의 목적과 기능)
- 간접적 이용가치(다른 사람의 도서관 이용가치)
- 옵션가치(미래사용가능 가치))와 이용하지 않더라도 도서관이 존재함으로써는 파생되는 잠재적 가치(후속세대 이용가치, 존재 자체의 만족 가치)로 구분

시작계기는 1993년 미연방정부의 의해 제정된 GPRA(The Government Performance and Results Acts)에 의해 연방 및 주 정부의 모든 부처에 업무효과를 수량화하고 도서관과 박물관 평가를 이용자가 받는 혜택 측정에 초점을 맞추면서 출발
● 도서관의 가치 (시간과 돈의 절약)

① 사회적 가치: 공동체 의식 함양

② 교육적 가치: 학습능력 향상

③ 문화적 가치: 취미, 여가를 즐김

④ 경제적 가치
● 평가방법

①투자효과(Return on Investment): 공공도서관에 투자(투입)한 금액으로 얻게 되는 이익(또는 손실)의 합, 바람직한 회수율은 연간 약 20%, 즉 5년, ROI = 총효과(가치/편익) / 총투자(지출)액

②비용편익분석(Cost Benefit Analysis): 공공도서관 설립과 운영에 들어간 총비용에 대한 편익 등의 효과를 사회경제적 효율성 측면에서 분석, 편익과 비용의 차(순현재가치), 비용-편익의 비율(비용편익율), 수익률(경제적 내부수익율)을 산출하여 효율성 평가, CBA = 편익(j)의 현재가치 / 비용(j)의 현재가치
③ 가상평가법(Contingent Valuation Method): 농업 및 환경경제학 분야에서 정립발전시킨 이것으로 도서관처럼 비시장재의 경제적 가치(이용가치+비이용가치)를 평가할 때 유용한 방법, 화폐단위로 거래되지 않는 가치에 대해 2개의 설문문항(현재 상황과 가상적 상황)을 구성조사하는 방식으로 지불의지액 WTP(Willingness To Pay)을 수집하여 가치 평가, 절차는 모집단에서 표본 추출하여 도서관 서비스에 대한 인식가치를 설문하고 표본의 WTP를 추계하여 모집단의 WTP 산출

▶ 가치금액유도 방법
가. 개방형 질문법: 직접질문
나. 경매법: 응답자에게 어떤 특정 금액을 제시하고 ‘예’, ‘아니오’라는 답을
여러 번 반복하게 하는 방식
다. 지불카드법: 응답자가 금액을 답할 때 참고할 수 있는 금액카드를 보여주는 것
라. 양분선택법: 사전 설문조사를 통해 나타난 금액을 바탕으로 특정 지불의사
금액을 제시하고 그 금액을 지불할 의사가 있는지 없는지를 선택하도록 하는 방법
④ 사회적 투자효과(Social Return on Investment): 공공사업 적용

⑤ 대체법: 비시장재의 경제적 가치를 유사한 시장재의 가격으로 대체하여
평가하는 방법

⑥ 소비자 잉여 : 소비자가 받는 잉여적 혜택, 일반적으로 원하는 재화를 얻기 위해 소비자가 지불하려는 최대 금액과 시장가격의 차이, 예를 들어 어떤 이용자가 5,000원 도서를 10,000원이라도 지부랄 의향이 있으면 이 때 소비자 잉여는 5,000원과 10,000원의 차액인 5,000원

도서관서비스는 대부분 무료이지만 특정서비스 이용 시 지불의사가 있다면 소비자 잉여금액으로 간주
도서의 구입이나 일반 도서 대여점에서의 대여와 같이 도서관 서비스와 대체할 수 있는 상품의 시장가격을 소비자 잉여 금액으로 간주
⑦ 시간가치측정법: 이용자가 도서관 서비스를 이용하기 위해 투자한 가치를 가장 직접적으로 나타내 주는 하나의 지표로서 가장 간단하게 금액으로 환산할 수 있는 가치, 서비스를 이용하기 위해 소요된 총 시간을 비용으로 환산하다는 것, 시간을 비용으로 환산하기 위한 가장 일반적인 방법은 이용자의 시간당 임금을 적용하는 것 ● 사회경제적 가치(편익)의 평가

①직접적 가치(Direct value): 연간 수입자료 총액(세금을 제외한 지원금기부금시설 대여료 등의 합), 자료서비스시설 등의 이용가치(지역주민 공공도서관 이용 편익을 가치로 환산, 자료대출, 참고서비스, 상호대차문헌제공서비스, 관내 이용, 공간시설장비의 이용)로 구성



②간접적 가치(Indirect value): 경제학자들은 임금, 자본 등에 1달러 지출하면 지역경제에 미치는 효과를 추가하여 1달러 지출당 0.637로 계상


③총비용(Total Value)
직접적 가치와 간접적 가치의 합


※위의 평가방식은 주로 공공도서관에 적용한 연구사례가 많으며, 공공도서관 사회경제적 가치를 분석한 연구가운데 2000년 이후를 간추리면 공공도서관에 1달러를 투자하면 약 4.44달러의 사회경제적 편익(가치)이 창출
▶ 사례

가. St. Louis 공공도서관: $2-10
나. Birmingham 공공도서관: $1.3-2.7
다. Phoenix 공공도서관: $10 이상
라. South Carolina 공공도서관: $4.48
마. 플로리다주 공공도서관: $6.4
바. 영국 BL: $4.8
사. 영국 Bolton 공공도서관: $1.7
아. 국내 공공도서관: 표순희(2006) 0.38, 정혜경(2007) 2.95
3.1 교육과학기술부의 대학도서관 시범평가 ● 평가지표 가. 대학도서관 일반지표 및 공동활용지표(400점) 나. 특성화 지표 (400점)

1) 도서관 기본 경영 현황 (200점) : 정량평가 2) 자체발전노력 (200점) : 정성평가


내용 예시
--> “최근 3년간 도서관 발전을 위한 자체 추진 노력 및 발전 방안”에 대한 도서관 사업에 대하여 평가 실시 다. 이용자 만족도 지표 (200점) :
이용자 만족도 조사는 우수도서관 3배수 대학에 한정하여 실시 ※재학생 이메일(e-mail) 주소를 파일로 제출받고, 임의 추출하여 설문조사를 실시 ● 영진전문대학도서관 대학도서관 평가 제출 자료 3.2 전문대학의 기관평가인증
가. 정의
고등교육기관의 질 관리 및 책무성 강화를 위한 정부
정책으로, 대학의 신청에 따라 대학 운영 전반에 대해
교육의 질을 보증할 수 있는 최소 요건을 충족하고
있는지 여부를 평가/인증하는 것, 국고지원과 연계 다. 기관평가인증제의 주요특징
나. 추진단계 라. 기관평가인증제 평가요소 (1) 필수평가요소 (2) 일반평가요소 (3) 도서관 평가요소 ● 영진전문대학도서관 기관평가인증 제출 자료 4.1 업무평가 ● 영진전문대학도서관 업무평가 작성 자료 4.2 성과평가(이용자 만족도) ● 이용자 만족도 조사

가. 기간: 매년 10월
나. 표본: 도서관 이용자 및 각 계열학과별 배포(2011년 조사 시 3,000여명 응답)
다. 방법: 매년 10월 독서의 달 행사 시 팜플렛을 통해 설문조사
라. 분석: 엑셀과 SPSS 12.0
마. 설문문항: ISO11620, LibQUAL+, 교육과학기술부 2011년 전문대학도서관
평가 시 이용자만족도 조사 항목을 참고하여 구성
▶ 설문조사 분석 ① 설문 응답자 특성 ● 회수장소 ● 전공 ● 학문영역 ② 도서관 이용 ● 한 달 도서 대출량 ● 도서관 이용 ● 도서관 방문 시 이용시간 ● 가장 많이 이용하는 도서관 시설
● 도서관방문목적 ● 추가구입 희망자료 ③ 도서관 만족도 ④ 학문영역에 따른 변인 간 평균 비교(t-test) ⑤ 전공에 따른 변인 간 평균 비교(ANOVA) ⑥ 변인간 상관관계 분석 ⑦ 평가항목의 분포의 모양 비교 ● 도서관 이용 ● 방문목적 ● 도서관 희망사항에 대한 분석 예 ● 영진전문대학도서관 성과평가 5. 영진전문대학도서관 성과 분석
(평가지표의 자체 활용, 실적자료집) ● 실적자료집의 개념과 목적 ▶의미: 직전학년도 대학도서관의 운영과 이용현황에 대해 통계적 이용추이와 업무추진 성과에 대해 체계적으로 정리하여 발간한 자료



▶의의:

- 대학도서관의 업무와 활동은 교내 전 구성원의 현재와 미래에 중요하고 지속적인 영향을 주고 있음

- 대학 경영진들에게 대학도서관의 중요성과 필요성을 각인,구체적인 통계를 통한 대학도서관 운영의 근거를 일깨워 줌

- 대학도서관에 대한 투자가 필연적인 것임을 증명



▶목적

- 도서관의 이용현황 분석

- 구체적 통계제시로 인한 도서관 정책 수립 근거 마련

- 도서관 성과물 도출

- 도서관 업무 및 운영 개선점 도출

- 도서관 운영정책에 적극적으로 반영, 향후, 운영목표 제시와 운영계획 수립



▶ 준비과정
▶내용구성

- 도서관 주요현황

- 팀별 주요 성과사례 요약 및 상세 현황

- 결론 및 제언

- 부록(업무명세, 교육 및 출장 현황, 예산 규정 등)



▶활용

- 직전 학년도 도서관 업무에 대한 체계적 분석과 정리

- 통계분석으로 인한 업무의 구체성 증가

- 현행 업무 수행 중 수시 참조 가능

- 업무 개선사항 도출

- 대학 경영진 보고용 적합

- 운영계획 수립과 예산 편성


● 영진전문대학도서관 실적자료집 6. 결론

● 국가차원의 대학도서관 평가

- 2010년과 2011년 교육과학기술부의 대학도서관 시범평가는 대학의 도서관 투자 유도하고,
대학도서관 서비스 전반에 대한 체계적 진단과 처방을 통한 개선, 우수사례 발굴 등을 통한
전체 대학도서관 경쟁력 제고 등의 긍정적 영향 있음.

- 그러나 이러한 평가방식은 평가지표에 대한 논란, 평가순위 제외 대학 도서관의 내외부 갈등 등의
부정적 영향이 있기도 함.

- 따라서 평가를 통해 순위를 정하는 방식보다 평가 인증제를 통해 대학도서관 발전을 도모하는 것이
하나의 대안

- 또한 이러한 평가인증이 국고와 연계되도록 유도하는 것이 중요하고 평가 인증 기준의 확립 역시 필요 - 도서관 평가는 국가차원의 전체 도서관 평가와 도서관 내부의 평가가 있음 ● 도서관 내부 평가

- 대학도서관 평가는 도서관 정책 수립과 운영의 근거가 됨

- 대학도서관 성과분석은 대학 경영진에게 도서관에 대한 투자효과를 설명하고 지속적인 투자를 유도할 수 있음

- 평가와 성과분석은 여러 사례를 참고하여 각 대학도서관에 맞게 적용하는 것이 중요

- 이러한 분석결과를 토대로 성과사례를 매년 책자형태로 발간하는 것이 중요

- 이를 통해 도서관 업무 및 운영의 개선점을 도출하여 지속적인 도서관 발전을 이뤄낼 수 있음
Full transcript