Transcript Statistický modul EZproxy a další aktuální vývoj MULTIDATA Praha

Statistický modul
EZproxy a další
aktuální vývoj
MULTIDATA Praha
Mgr. Petr Novák
Knihovna psychologie FF UK
6.října 2009
Proč statistický modul?





OCLC (výrobce EZproxy) nabízí výčet různých
nástrojů, komerčních
i freeware / OSS
Neposkytují podporu pro skupiny
Neposkytují podporu pro různé způsoby
autentizace
zdlouhavá práce s logy na pracovní stanici
limity, nelze pracovat v dávkách
Statistický modul








Autor RNDr. Vladimír Pávek
Využívá XSLT procesor Saxon
Vyžaduje Java Virtual Machine
Otestováno na Windows 2003 server a Linux
Testovací demo ke stažení z www.multidata.cz
Konfigurace = editace XML souborů
práce přímo na serveru EZproxy
Generuje výstupy v ČJ a AJ
Skupiny v EZproxy

Jsou využívány:



pro korektní autorizaci uživatelů dle součásti
instituce (fakulty a základní součásti na VŠ,
zaměstnanci x čtenáři x testeři ve všech
knihovnách)
pro generování log souborů využívaných pro
statistický modul
předávány jsou různé kombinace skupin
Jak EZproxy ukládá logy



Konfigurace v config.txt
Ukládání v týdenních intervalech
2 druhy logů:

LogSPU -> spu%Y-%W.log
= výchozí URL zdroje

Hlavní log -> ezp%Y-%W.log
= kompletní komunikace uživatel-zdroj bez *.jpg a *.gif
Jak EZproxy ukládá logy - co se loguje









IP adresa,
uživatelské jméno,
výčet skupin uživatele oddělený „+“,
identifikátor session,
datum a čas,
kompletní HTTP request (např. GET
http://www.database.com HTTP/1.0),
číslelný status HTTP žádosti (200 aj.),
přenesená data v bajtech,
(v případě hlavního logu ještě user-agent)
Ukázka SPU logu

70.108.162.87 johndoe Default+UNI+MEDICINE+Student
a05db43a-6c0b-40d6-b0ff-2502eddb337d [10/Aug/2009:01:37:13 +0100]
"GET http://ezproxy.library.edu/login/ovid HTTP/1.1" 200 0

18.18.162.117 marysmith Default+UNI+LAW+Student
e87bd19a-677a-41a1-bcb8-4309a4818e84 [10/Aug/2009:01:37:13 +0100]
"GET http://ovidsp.ovid.com/ovidweb.cgi HTTP/1.1" 200 0

60.133.100.17 billking Default+UNI+ARTS+THEOLOGY+Student+Staff
94b62205-6564-47a4-97e0-e6497f2b8546 [10/Aug/2009:01:58:55 +0100]
"GET http://ezproxy.library.edu/login/ebsco HTTP/1.1" 200 0

90.177.148.39 mikelee Default+UNI+ARTS+MATH+Staff
476663da-d3ac-42c1-a07b-1131fb1c01e8 [10/Aug/2009:01:58:55 +0100]
"GET http://search.ebscohost.com/login.aspx?authtype=id HTTP/1.1" 200 0

58.128.110.30 tracylong Default+UNI+COMPSCI+Student
6ea828af-6c11-4f66-90ae-093be1d73026 [10/Aug/2009:03:35:11 +0100]
"GET http://www.computer.org/portal/site/usdl HTTP/1.1" 200 0
Způsoby zpřístupnění
elektronických inf. zdrojů


Autentizace na IP adresu (poskytovatel
zdroje zařadí IP adresu EZproxy serveru na
seznam povolených IP adres) = typ 1
Autentizace jménem a heslem
(poskytovatel zdroje zašle autentizační data
- uživ.jméno a heslo -, ta jsou zadána do
EZproxy a uživatel se jimi transparentně
autentizuje vůči skrytému formuláři = typ 2
Ukázka SPU logu
typ 1
typ 2

70.108.162.87 johndoe Default+UNI+MEDICINE+Student
a05db43a-6c0b-40d6-b0ff-2502eddb337d [10/Aug/2009:01:37:13 +0100]
"GET http://ezproxy.library.edu/login/ovid HTTP/1.1" 200 0

18.18.162.117 marysmith Default+UNI+LAW+Student
e87bd19a-677a-41a1-bcb8-4309a4818e84 [10/Aug/2009:01:37:13 +0100]
"GET http://ovidsp.ovid.com/ovidweb.cgi HTTP/1.1" 200 0

60.133.100.17 billking Default+UNI+ARTS+THEOLOGY+Student+Staff
94b62205-6564-47a4-97e0-e6497f2b8546 [10/Aug/2009:01:58:55 +0100]
"GET http://ezproxy.library.edu/login/ebsco HTTP/1.1" 200 0

90.177.148.39 mikelee Default+UNI+ARTS+MATH+Staff
476663da-d3ac-42c1-a07b-1131fb1c01e8 [10/Aug/2009:01:58:55 +0100]
"GET http://search.ebscohost.com/login.aspx?authtype=id HTTP/1.1" 200 0

58.128.110.30 tracylong Default+UNI+COMPSCI+Student
6ea828af-6c11-4f66-90ae-093be1d73026 [10/Aug/2009:03:35:11 +0100]
"GET http://www.computer.org/portal/site/usdl HTTP/1.1" 200 0
Rozdíl v logování



SPU log – srovnatelně zaznamená jak typ 1
(autentizace IP adresou), tak typ 2 (autentizace
jménem a heslem)
Hlavní log - zaznamená kompletní komunikaci
EZproxy se zdrojem dle typu 1, avšak pouhé
otevření zdroje typu 2
-> jako zdroj pro statistiky využívanosti se hodí
spíše SPU log, Hlavní log má doplňkovou funkci
Workflow práce se statistickým
modulem – generování HTML výstupů

Realizováno každý týden




Nakopírování čerstvého souboru LogSPU do
/statistika (adresář se statistickým modulem)
Spuštění dávky
Nakopírování výstupních HTML souborů do
požadované lokace – např. /docs/public (do této
lokace lze obecně umístit jakékoli HTML a grafické
soubory ke kterým není třeba ověřovat přístup)
Kontrola errorlog.html
Workflow práce se statistickým
modulem - tit-url.xml






Editace souboru tit-url.xml
tit-url.xml obsahuje seznam zdrojů včetně URL a
výčtu přiřazených skupin
Vždy při přidání nového zdroje
Konvence pojmenování zdroje
Pokud zdroj již není předplácen – nutno
konfiguraci v tit-url ponechat
Ukázka záznamu
Workflow práce se statistickým
modulem – analýza chybových URL
soubor errorlog.html
 slouží k nalezení chybných konfigurací v titurl.xml

Statistika dle zdrojů a měsíců
pro celou knihovnu
K čemu může sloužit

Statistika dle zdrojů a měsíců
 pro
celou knihovnu
 pro jednotlivé skupiny

Využití pro marketing:
 sledování
krátkodobých přístupů (trialy)
 meziměsíční změny
 celkové úhrny
Statistika dle skupin
K čemu může sloužit

Statistika dle skupin
 pro
celou knihovnu
 pro jednotlivé skupiny

Využití pro marketing:
 rozdíly
mezi jednotlivými skupinami (fakultami)
 zdroj pro přepočet dle počtu reálných uživatelů
(studenti + akademičtí pracovníci, všichni čtenáři /
aktivní uživatelé vzdáleného přístupu)
K čemu může sloužit

Statistika dle skupin a dle zdrojů
 pro

jednotlivé skupiny
Využití pro marketing:
 rozdíly
mezi jednotlivými skupinami
(fakultami) pro konkrétní zdroje
 zdroj pro analýzu využívanosti zdrojů ->
podklad pro akvizici
Další práce s výstupy v Excelu
Všechny prezentované tabulky lze z HTML
přes schránku snadno metodou CTRL+C,
CTRL+V zkopírovat do Excelu a dále
zpracovávat
 Výstup např. do CSV se ukázal jako
zbytečný

K nabídce statistického modulu
Dodávka zahrnuje budoucí aktualizace
 Cena mírná , na dotázání


Dotazy ke statistickému modulu?

Čas na švestkovou buchtu 
Autentizační modul

možnosti autentizace a autorizace EZproxy: built-in by OCLC
:-)


textový soubor s hesly
LDAP






LDAP dle RFC 2307 (např. OpenLDAP)
Active Directory, eDirectory
Shibboleth
doména Windows
pro ČR exotické knihovní systémy – Voyager, III, …
více viz
http://www.oclc.org/us/en/support/documentation/ezproxy/usr
/default.htm
ALEPH...?




Nativní podpora autentizace a autorizace
uživatelů EZproxy v systému ALEPH chybí
Akademické knihovny disponují LDAP
adresáři pro autentizaci k různým
informačním procesům v rámci svých
informačních systémů
Veřejné a vědecké knihovny LDAP podporu
pro čtenáře nemívají
->>> potřeba autentizačního modulu
Autentizační modul

Autoři




Jiří Rataj
Lukáš Hlůže
Martin Vojnar
testován na EZproxy serveru
draco.multidata.cz
Výhoda řešení

standardizované LDAP rozhraní podporující




EZproxy
Shibboleth Identity Provider
libovolné další služby (tiskové fronty, autentizace
pracovních stanic, …)
aktuální data via LDAP – např.



účet aktivní ihned po vystavení průkazky
účet odblokován okamžitě po uhrazení pokuty
lze stanovit specifickou skupinu uživatelů pro
vzdálený přístup (nikoli nutně všichni registrovaní
čtenáři)
Podrobnosti

možné zabezpečení komunikace





EZproxy-LDAP: SSL (ldaps) + fixní IP adresa
LDAP-mezivrstva-ALEPH: omezení jen pro localhost
komunikaci, pokud nebude LDAP a ALEPH na jednom
serveru – lze implementovat https + fixní IP adresu
propustnost v řádu desítek autentizačních dotazů
za minutu
mezivrstva LDAP – ALEPH je napsána v perlu
vyžaduje ALEPH v.18 a vyšší
s licencí X-services
Obsah datagramu mezivrstvy
<?xml version="1.0" encoding="UTF-8"?>
<bor-auth>
<bor-id>carovy_kod_uzivatele</bor-id>
<bor-uid>primarni_id_uzivatele</bor-uid>
<bor-name>jmeno_uzivatele</bor-name>
<bor-email>email_uzivatele</bor-email>
<bor-lang>jazyk_komunikace_s_uzivatelem</bor-lang>
<bor-auth-ok>vysledek_verifikace</bor-auth-ok>
<bor-credit>stav_penezniho_uctu</bor-credit>
<bor-status>kategorie_uzivatele</bor-status>
<error>textova_zprava_o_vysledku_verifikace_v_pripade_chyby
</error>
</bor-auth>
Ukázka






http://boa.ruk.cuni.cz:8991
ldapsearch -x -D
'uid=333,ou=EZPROXY,dc=ruk,dc=cuni,dc=cz' -W -v
-h boa.ruk.cuni.cz -b
'uid=333,ou=EZPROXY,dc=ruk,dc=cuni,dc=cz'
uid=333,ou=ezproxy,dc=ruk,dc=cuni,dc=cz
boa.ruk.cuni.cz
ou=EZPROXY,dc=ruk,dc=cuni,dc=cz(objectClass=pe
rson)
uid
333
Vaše dotazy a
komentáře…
… za které děkuji
[email protected]