Transcript Arne de Laat

HiSPARC
Data
Arne de Laat
2014-10-08
1
Lesmateriaal
info pakket
HiSPARC
RouteNet
2
Event Summary Data van station 502 op 17 juni 2014
3
Wat meten we?
Station
Events
Tijdstempel, PMT signalen (traces) en afgeleiden
Weer
Tijdstempel, sensor uitlezing en afgeleiden
HiSPARC
4
Van supernova tot data
HiSPARC
Chandra, HiSPARC, ASUS, DELL
5
Detectie
HiSPARC
Station 501
6
Scintillator
Lichtdicht verpakt
Muonen, electronen en fotonen gaan door scintillator
Worden afgeremd, verliezen energie, energie voor scintillatie
Lage detectie kans voor fotonen
HiSPARC
7
PMT
Fotonen
HiSPARC
naar electrisch signaal
8
ADC
ADC zet analoog signaal uit PMT om
naar digitale waarden
Er zijn 2 ADCs per PMT kanaal
Elke PMT wordt continu, om de 2.5 ns,
uitgelezen
1 ADC count is ongeveer -0.57 mV
Bereik: 0.1V t/m -2 V wordt omgezet
tot: 0 t/m 4095 ADC counts
HiSPARC
9
Trigger window
Electronica op scherp als één
signaal over de lage drempel gaat.
Trigger
Post-coincidence
1 µs
1.5 µs
3.5 µs
ADC counts
Pre-coincidence
high
low
t (ns)
HiSPARC
In de deze grafieken in de 'nullijn' van de signalen al afgetrokken.
Die ligt normaal rond 200 ADC counts (dus 0 mV)
10
Trigger
ADC counts
Twee (drie) signalen over hoge (lage)
drempel binnen de trigger window!
Twee signalen over lage drempel
voor 2 detector station.
2 high
3 low
t (ns)
HiSPARC
11
GPS timestamp
Trigger tijdstempel in GPS-tijd
ADC counts
tGPS = 1403049593382116801
2 high
3 low
t (ns)
HiSPARC
12
Data reductie
ADC counts
Verwijder ‘lege’ delen van de traces
noise filter
t (ns)
HiSPARC
13
Pulse integrals
ADC counts
Oppervlakte onder de trace, een maat voor aantal deeltjes
t (ns)
HiSPARC
14
Pulse heights
ADC counts
Hoogte van puls, ook indicatie aantal deeltjes en verzadiging
t (ns)
HiSPARC
15
Offline analyse
HiSPARC
16
Trigger timestamp
ADC counts
Trigger tijdstempel tov begin van trace
2 high
3 low
t (ns)
HiSPARC
ttrigger = 1195
17
Detector timestamps
ADC counts
Detector tijdstempels tov begin van trace
Detection
Threshold
t4 = 15
HiSPARC
t (ns)
t2 = -999
t3 = -999
t1 = 1190
18
Fout codes
-1 = niet aanwezige detector/sensor
-999 = reconstructie lukt niet of onmogelijk
HiSPARC
19
Detector timestamp in GPS-tijd
Eerste deeltje in station in GPS-tijd
tfirst,GPS =
tGPS - ttrigger + min(t1-4) =
1403049593382116801 - 1195 + 15 = 1403049593382115621
Let op!
ttrigger en t1-4 kunnen -1 of -999 zijn!
Alleen positieve waarden (en 0) voor de variabelen zijn
geldig.
HiSPARC
20
Detector timestamps
Detector tijdstempels tov begin van trace
ADC counts
tGPS = 1403049593382116801
t4 = 15
HiSPARC
t (ns)
t2 = -999
t3 = -999
t1 = 1190
ttrigger = 1195
21
Detector timestamps
Detector tijdstempels tov begin van trace
tGPS = 1403049593382116801
ADC counts
tGPS - ttrigger + t4 = 1403049593382115621
t4 = 15
HiSPARC
t (ns)
t2 = -999
t3 = -999
t1 = 1190
ttrigger = 1195
22
Number of MIPs
Aantal deeltjes, door verhouding pulsintegraal per deeltje
1 MIP
HiSPARC
23
Number of MIPs
Pulseintegral1-4
= Number of MIPs
PulseintegraalMIP
1
2
3
7
8
9 10
0
1
2
3 4 5 6 7
Aantal deeltjes
8
9 10
4
5
6
Aantal events
Aantal deeltjes in een detectie
0
1993 / 2233 = 0.8926
Niet altijd hele getallen
Mogelijk is het pulseintegraal bereik niet
linear
HiSPARC
Aantal events
Let op!
24
Figuur 2.2 – Histogram van de componenten van het signaal uit een HiSPARC
de
kunnen 1, 2, 3, of meerdere deeltjes door een detector gaan. Middelste plot: door
Tools
HiSPARC
25
Publieke database
Data overzicht en toegang
API - toegang tot metadata en traces
ESD - gefilterde en deels geanalyseerde data
Coincidenties - air showers gemeten door
meer stations
Status - nagios status
Maps - kaart van station posities
HiSPARC
26
HiSPARC
27
Download events
# Event Summary Data
#
# Station: (3002) Da Vinci College
#
# Data taken from 2014-10-06 00:00:00 to 2014-10-07 00:00:00
#
#
# This data contains the following columns:
#
# date:
time of event [GPS calendar date]
# time:
time of event [GPS time of day]
# timestamp:
time of event [UNIX timestamp]
# nanoseconds:
time of event [number of nanoseconds after timestamp]
# pulseheights (4x):
maximum signal pulseheight [ADC]
# integral (4x):
integral of the signal [ADC.ns]
# number_of_mips (4x): estimate for the number of particles in the detector
# arrival_times (4x): relative time of arrival of the first particle in the
# trigger_time:
relative time of the trigger timestamp [ns]
#
# Values of -1 for detectors 3 and 4 indicate that the station only has
# two detectors. Values of -999 indicate a problem in the analysis of
# that particular event. This may be the result from noise in the
# signal.
#
#
2014-10-06! 00:00:00!
1412553600! 350938334!
298! 192! -1!
-1!
2014-10-06! 00:00:01!
1412553601! 469042552!
154! 65!
-1!
-1!
2014-10-06! 00:00:02!
1412553602! 605619171!
89!
191! -1!
-1!
2014-10-06! 00:00:03!
1412553603! 257386399!
101! 302! -1!
-1!
2014-10-06! 00:00:03!
1412553603! 689545729!
66!
280! -1!
-1!
2014-10-06! 00:00:03!
1412553603! 690396758!
459! 178! -1!
-1!
2014-10-06! 00:00:06!
1412553606! 738326865!
336! 53!
-1!
-1!
2014-10-06! 00:00:08!
1412553608! 398847678!
390! 301! -1!
-1!
2014-10-06! 00:00:10!
1412553610! 57972348!
86!
284! -1!
-1!
2014-10-06! 00:00:12!
1412553612! 936340363!
113! 335! -1!
-1!
2014-10-06! 00:00:14!
1412553614! 758489118!
103! 52!
-1!
-1!
2014-10-06! 00:00:16!
1412553616! 187320642!
161! 655! -1!
-1!
2014-10-06! 00:00:16!
1412553616! 565409487!
63!
51!
-1!
-1!
2014-10-06! 00:00:17!
1412553617! 307809574!
82!
136! -1!
-1!
2014-10-06! 00:00:20!
1412553620! 816314098!
287! 324! -1!
-1!
...
HiSPARC
detector [ns]
2828!
2214!
1117!
878!
753!
4569!
4041!
4585!
684!
1295!
925!
1875!
293!
589!
3168!
1887!
511!
2649!
2759!
3952!
2230!
415!
7065!
3930!
3428!
415!
6142!
389!
1180!
4299!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
1.1223!0.7618!-1!
0.8787!0.2063!-1!
0.4433!1.0695!-1!
0.3484!1.1139!-1!
0.2988!1.5956!-1!
1.8133!0.9003!-1!
1.6037!0.1675!-1!
1.8196!2.8524!-1!
0.2715!1.5867!-1!
0.5139!1.384! -1!
0.3671!0.1675!-1!
0.7441!2.4797!-1!
0.1163!0.1571!-1!
0.2338!0.4764!-1!
1.2573!1.7356!-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
1432.5!
572.5!
745.0!
22.5!
15.0!
15.0!
82.5!
17.5!
710.0!
37.5!
15.0!
32.5!
1070.0!
25.0!
17.5!
28
HiSPARC
29
Download coincidencties
# Coincidences
#
# Coincidences between stations in the Leiden cluster
# Data taken from 2014-01-06 00:00:00 to 2014-10-07 00:00:00
# Showing only coincidences with at least 3 events
#
# This data contains the following columns:
#
# coincidence_id:
events with the same id belong to the same coincidence
# station_number:
the station number that detected the event
# date:
time of event [GPS calendar date]
# time:
time of event [GPS time of day]
# timestamp:
time of event [UNIX timestamp]
# nanoseconds:
time of event [number of nanoseconds after timestamp]
# pulseheights (4x):
maximum signal pulseheight [ADC]
# integral (4x):
integral of the signal [ADC.ns]
# number_of_mips (4x): estimate for the number of particles in the detector
# arrival_times (4x): relative time of arrival of the first particle in the detector [ns]
# trigger_time:
relative time of the trigger timestamp [ns]
#
# Values of -1 for detectors 3 and 4 indicate that the station only has
# two detectors. Values of -999 indicate a problem in the analysis of
# that particular event. This may be the result from noise in the
# signal.
#
#
0!
3202! 2014-01-06! 00:26:45!
1388968005! 993544209!
1057! 1284! 1344! 1365! 28015! 27742! 40228! 35063! 13.9408!
15.1045
0!
3203! 2014-01-06! 00:26:45!
1388968005! 993544312!
1206! 338! -1!
-1!
36473! 13299! -1!
-1!
11.2408!
5.1359!
0!
3201! 2014-01-06! 00:26:45!
1388968005! 993544511!
98!
157! 153! 94!
1219! 2505! 1759! 1554! 0.656! 1.327! 0.9402!
1!
3203! 2014-01-06! 00:33:42!
1388968422! 650822596!
419! 265! -1!
-1!
4916! 3159! -1!
-1!
1.5151!1.22! -1!
1!
3201! 2014-01-06! 00:33:42!
1388968422! 650822736!
10!
145! 9!
188! 0!
1799! 0!
4128! 0.0! 0.953! 0.0!
1!
3202! 2014-01-06! 00:33:42!
1388968422! 650822749!
645! 162! 530! 997! 8537! 2501! 8109! 13890! 4.2482!1.3617!4.3383!
2!
3201! 2014-01-06! 01:00:58!
1388970058! 308267583!
148! 1!
4!
259! 1498! 0!
0!
2570! 0.8061!0.0! 0.0!
2!
3202! 2014-01-06! 01:00:58!
1388970058! 308267600!
3!
3!
338! 210! 0!
0!
4811! 2265! 0.0! 0.0! 2.5739!
2!
3203! 2014-01-06! 01:00:58!
1388970058! 308267748!
846! 176! -1!
-1!
13039! 3408! -1!
-1!
4.0185!1.3161!-1!
3!
3201! 2014-01-06! 01:10:43!
1388970643! 429201233!
184! 198! 227! 9!
3714! 1789! 2428! 0!
1.9985!0.9477!1.2977!
3!
3203! 2014-01-06! 01:10:43!
1388970643! 429201453!
2151! 1357! -1!
-1!
50978! 34748! -1!
-1!
15.7111!
13.4192
3!
3202! 2014-01-06! 01:10:43!
1388970643! 429201663!
610! 1267! 402! 1126! 18224! 25795! 9138! 16581! 9.0686!14.0444!
4!
3203! 2014-01-06! 01:21:59!
1388971319! 92580450!
2136! 1914! -1!
-1!
33599! 27729! -1!
-1!
10.355!10.7086!
4!
3202! 2014-01-06! 01:21:59!
1388971319! 92580521!
476! 119! 221! 2!
5304! 1702! 2337! 0!
2.6394!0.9267!1.2503!
4!
3201! 2014-01-06! 01:21:59!
1388971319! 92580524!
166! 3!
2!
164! 1684! 0!
0!
1647! 0.9062!0.0! 0.0!
...
HiSPARC
30
jSparc
Library - web applicaties
Data retrieval - esd data visualizatie
of tab-separated csv
Analyse tool - coïncidenties analyseren
API interface - API verkennen
Station distances - station afstanden bepalen
Trigger simulation -
HiSPARC
31
SAPPHiRE
Python framework
API - toegang tot metadata en traces
Clusters - stations en detectoren
ESD - afgeleide data download
Corsika - simulaties van air showers
Simulations - simulaties op stations, detector respons
Analysis - coincidenties, richting en core reconstructie
HiSPARC
32
Corsika
Simulatie van air showers
Input - primair deeltje
Soort, energie en richting
Output - alle deeltjes op observatie niveau
Soort, positie, tijd en momentum
HiSPARC
33
Andere activiteiten
Reconstructies - automatische richting reconstructie
Detector positie - insturen positie van detectoren
Arduino weerstation - tastbaar, zelf te bouwen
Raspberry Pi - vervanging van station PC
Arne en Hans
Niek
Norbert
David
Niek, David en Norbert
Info pakket - lesmateriaal, werkbladen met uitwerkingen
Sterrenkaart - galactische kaart met metingen
Sabine en Niek
Brandon en Tom
Simulaties - tijdverdeling en echte spectrum simulatie
HiSPARC
34
SAPPHiRE installatie
Benodigdheden: Python 2.7, pip,
Python packages: NumPy, SciPy,
HDF5, gfortran, Atlas...
PyTables, mock, progressbar2
Installatie:
Download en installeer Anaconda: http://continuum.io/downloads
Deze installeert de meeste benodigdheden en een Command Prompt,
voer daarin het volgende commando uit om SAPPHiRE te installeren:
pip install hisparc-sapphire
Nu kan je iPython starten en sapphire gebruiken
HiSPARC
35
https://pypi.python.org/pypi/hisparc-sapphire/
Later upgraden:
$ pip install -U --no-deps hisparc-sapphire
HiSPARC
PyPI
36
Voorbeelden
SAPPHiRE
HiSPARC
37
>>> from matplotlib.pyplot import plot
>>> from datetime import date
>>> from sapphire import api
>>> stations = [3001, 3302, 3303, 3501]
>>> dates = [date(y, m, 1)
...
for y in range(2005, 2014)
...
for m in range(1, 13)
...
if not date(y, m, 1) < date.today()]
HiSPARC
38
>>> from matplotlib.pyplot import plot
>>> from datetime import date
>>> from sapphire import api
>>> stations = [3001, 3302, 3303, 3501]
>>> dates = [date(y, m, 1)
...
for y in range(2005, 2014)
...
for m in range(1, 13)
...
if not date(y, m, 1) < date.today()]
>>> for station in stations:
...
s = api.Station(station)
...
events = [s.n_events(year=d.year, month=d.month) for d in dates]
...
plot(dates, events)
3303
3001
HiSPARC
3302
3501
39
>>> import tables
>>> from sapphire.simulations.groundparticles import GroundParticlesSimulation
>>> from sapphire.clusters import ScienceParkCluster
HiSPARC
40
>>> import tables
>>> from sapphire.simulations.groundparticles import GroundParticlesSimulation
>>> from sapphire.clusters import ScienceParkCluster
>>> cluster = ScienceParkCluster()
HiSPARC
41
>>> import tables
>>> from sapphire.simulations.groundparticles import GroundParticlesSimulation
>>> from sapphire.clusters import ScienceParkCluster
>>> cluster = ScienceParkCluster()
>>> with tables.open_file('simulation.h5', 'w') as data:
...
sim = GroundParticlesSimulation('corsika.h5', 300, cluster, data, '/', 100)
...
sim.run()
HiSPARC
42
>>> from matplotlib.pyplot import scatter, axis
>>> from sapphire.clusters import HiSPARCNetwork
>>>
>>>
...
>>>
>>>
>>>
cluster = HiSPARCNetwork()
x, y, _ = zip(*[station.get_xyalpha_coordinates()
for station in cluster.stations])
scatter(x, y)
axis('equal')
ylim(-4e5, 5e5)
HiSPARC
43
>>> from matplotlib.pyplot import scatter, axis
>>> from sapphire.clusters import HiSPARCNetwork
>>>
>>>
...
>>>
>>>
>>>
cluster = HiSPARCNetwork()
x, y, _ = zip(*[station.get_xyalpha_coordinates()
for station in cluster.stations])
scatter(x, y)
axis('equal')
ylim(-4e5, 5e5)
Aarhus (Denemarken)
Nederland
England
KASCADE (Duitsland)
HiSPARC
44
http://docs.hisparc.nl
Documentatie
HiSPARC
45
Ontwikkeling
HiSPARC
46
GitHub
Organization HiSPARC - http://github.com/HiSPARC
HiSPARC
47
Samenwerking
Issue tracking, automatische tests..
HiSPARC
48
Hands-on
http://data.hisparc.nl/media/jsparc/
(inclusief de slash op het eind)
Data retrieval
HiSPARC
49
Browser compatibiliteit
We hopen dat de website in zo veel mogelijk browsers werkt. Helaas lukt
dat niet altijd.Vooral Internet Explorer doet vaak moeilijk.
Wij testen in de huidige versies van:
Mozilla Firefox, Google Chrome en Apple Safari
De nieuwste versies van Internet Explorer (10+) voldoen beter aan
internet standaarden en hebben dus een grote kans ook goed te werken.
Zit je vast aan PCs met een oude Internet Explorer (versie 7 of 8) en heb
je niet de rechten hebt daar iets anders te installeren, dan raden we aan om
Firefox, Portable Edition te gebruiken. Die kan op een USB stick
geïnstaleerd worden, en op PCs vanaf de USB gebruikt worden.
Dat hebben wij ook zo op Woudschoten gedaan, dat werkte goed.
HiSPARC
http://data.hisparc.nl/media/jsparc/
50
Data laden
Haal data van één of meerdere stations op
Bekijk de data die je ingeladen hebt via `show`
Bekijk traces van een aantal events
HiSPARC
http://data.hisparc.nl/media/jsparc/
51
Plotten
Correlaties
Histogrammen
timestamp vs. nanoseconds
timestamp
event rate (events) vs.
atmospheric pressure (weather)
trigger time
pulseheight vs. pulseintegral
Probeer de fit functies
pulseheight
Speel met aantal bins.
Probeer logaritmische assen
HiSPARC
http://data.hisparc.nl/media/jsparc/
52
Websites
Website
www.hisparc.nl
Lesmateriaal
www.hisparc.nl/docent-student/lesmateriaal/
Documentatie
docs.hisparc.nl
Data overzicht
data.hisparc.nl
jSparc
data.hisparc.nl/media/jsparc/
SAPPHiRE
pypi.python.org/pypi/hisparc-sapphire/
Broncode
www.github.com/hisparc/
HiSPARC
53