CHIPS, BDD CHImie en PaléoSidérurgie

WIAI - Webinaires de l’Informatique pour l’Archéométrie à l’IRAMAT

Thomas Huet

IRAMAT-CNRS

Alexandre Disser

IRAMAT-CNRS

Introduction générale

La série WIAI

Webinaires dédiés aux technologies de l’information pour l’archéométrie:
GitHub , Python , R , API , IIIF , etc.

Note

📅 Bimestriel. Le 2^e Mardi matin, sur ZOOM entre 10h00 et 10h50 (50 minutes), lien sur le GitHub et le calendrier de l’IRAMAT

“SQL won. Get over it.” – Michael Stonebraker, crédit: David Monniaux

Plan de la présentation

La BDD CHIPS
Intéropérabilité et Réusabilité
Perspectives
Discussion

La BDD CHIPS

Motivations

Malgré l’importance des données de l’archéométallurgie du fer pour reconstruire les techniques anciennes, comprendre les contextes et modéliser les réseaux d’échanges, ➡️ l’absence d’un référentiel chimique partagé a conduit à la l’hétérogénéité des résultats des analyses.

CHIPS vise à (i) centraliser, normaliser, rendre interopérables des données, et (ii) identifier, développer et documenter les référentiels, afin de faciliter l’exploitation collective des données de l’archéométallurgie du fer.

Présentation

Base de données destinée aux archéométallurgistes du fer, offrant des milliers d’analyses chimiques révisées et normalisées (6650 échantillons issus de 1150 sites). Les données sont rendues interopérable grâce à des référentiels standardisés (e.g. ,).

Elle a été principalement développée par Alexandre Disser et Sylvain Bauvais à l’IRAMAT-CNRS.

loupe de fer

Modèle conceptuel de données simplifié

Standards et isostandards:

: répertoire de périodes (PID: ark)
: thésaurus pour l’archéologie (PID: ark)
: thésaurus pour les objets d’art et architecture (PID: aat)
¹: pour des dates fuzzy ou très précises (timestamped)

Technologies matures et open-source :

: OS² de la plupart des serveurs web.
: SGBD³ open-source proche d’Oracle.
: langage de programmation le plus utilisé au monde.
: standard d’interface de programmation d’applications sur le web.

CHIPS: accès et ouverture sur le web limités
CHIPS dev: clone de CHIPS ouverte sur le web (dashboard)

CHIPS

C R U D

🠮 🠮 🠮
copy data only
🠮 🠮 🠮

CHIPS dev

C R U D

Intéropérabilité et Réusabilité

Plateforme GEO

Dashboard (1/2)

Objectif
Datasets
Echantillons

Offir une vue synthétique du contenu de la BDD CHIPS ; faciliter l’identification, l’accès, l’intéropérabilité et la réutilisation des données

Créer du code modulaire pour sa réutilisabilité (code as data)

Indexation spatiale et par jeux de données (datasets)

Indexation spatiale

Dashboard (2/2)

API des échantillons
Live demo

Analyses avec R

Un dataset
Un dataset (chronologie)
Tous les datasets

library(iRamat)

df <- db_api_connect()

[1] "Will store the results in a new variable"

names(df)

[1] "dataset_adisser17"

df$dataset_adisser17 %>%
  select(-reference) %>%
  head(10) %>%
  kable("html") %>%
  kable_styling(font_size = 18)

site_name	id_chips	longitude	latitude	edtf	sample_name	typology	na	mg	al	si	p	s	cl	k	ca	mn	fe	loi	ag	arsenic	ba	be	bi	cd	ce	co	cr	cs	cu	dy	er	eu	deltafe56	deltafe57	ga	gd	ge	hf	ho	indium	la	li	lu	mo	nb	nd	ni	os	os187_os188	os187_os186	pb	pd	pr	rb	ru	sb	sc	se	sm	sn	sr	sr87_sr86	ta	tb	te	th	ti	tl	tm	u	v	w	y	yb	zn	zr	major_method	major_analytical_setup	trace_method	trace_analytical_setup	url
Aux Minières	4967	5.8506	49.4950	NA	MINHAO108-A	Ore	0.04	0.03	3.23	4.45	0.04	0.00	0	0.07	0.09	0.03	53.17	7.90	NA	578.900	20.31	13.500	0.308	0.325	56.06	26.590	214.9	0.971	5.587	5.025	2.637	1.387	NA	NA	7.478	4.960	2.610	1.431	0.938	0.475	21.24	NA	0.372	5.362	2.808	24.37	63.140	NA	NA	NA	113.8444	NA	6.119	4.692	NA	127.50	1.342	NA	6.095	0.945	43.73	NA	0.227	0.843	NA	17.38	0.092	NA	0.397	9.352	857.3	0.563	22.17	2.776	112.60	58.04	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Aux Minières	4968	5.8506	49.4950	NA	MINHAO108-B	Ore	0.03	0.03	4.57	8.40	0.04	0.00	0	0.02	0.11	0.04	43.30	10.57	NA	1010.000	12.87	9.351	0.193	0.296	47.05	27.430	341.7	0.221	63.670	4.556	2.518	1.103	NA	NA	5.733	4.166	1.560	2.771	0.908	0.806	24.99	NA	0.354	4.121	2.977	18.26	81.020	NA	NA	NA	117.9742	NA	5.025	2.133	NA	47.82	1.333	NA	4.576	0.911	86.50	NA	0.253	0.748	NA	55.21	0.094	NA	0.364	4.369	3957.0	0.663	23.34	2.575	113.70	118.50	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Aux Minières	71	5.8506	49.4950	NA	SCHAO 108a	Smelting Slag	0.52	0.22	3.43	9.54	0.11	0.21	NA	1.03	0.94	0.09	52.61	NA	NA	5.200	93.00	7.270	0.010	0.030	122.00	1.300	110.0	2.380	4.100	18.650	10.700	4.500	NA	NA	5.800	20.800	0.960	4.700	3.740	0.020	58.10	NA	1.490	2.740	9.600	79.40	1.000	NA	NA	NA	5.7000	NA	18.250	20.500	NA	0.08	14.900	NA	20.400	1.000	82.60	NA	0.670	3.350	NA	15.70	0.097	NA	1.690	2.400	144.0	3.000	119.00	10.100	23.00	195.00	ICP-MS	ALS Chemex - Unknown ME-MS61	ICP-MS	ALS Chemex - Unknown ME-MS61	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Aux Minières	72	5.8506	49.4950	NA	SCHAO 108b	Smelting Slag	0.03	0.08	3.07	10.61	0.04	0.01	NA	0.58	0.76	0.12	53.59	NA	NA	2.300	172.50	11.650	0.060	0.020	146.00	0.500	137.0	4.230	3.700	21.300	11.950	5.090	NA	NA	6.000	23.500	0.800	6.600	4.220	0.010	66.50	NA	1.680	0.480	11.800	93.90	0.600	NA	NA	NA	30.2000	NA	21.300	36.100	NA	0.05	19.300	NA	24.100	1.000	147.00	NA	0.800	3.700	NA	20.00	0.083	NA	1.860	2.800	522.0	4.000	138.50	11.300	4.00	278.00	ICP-MS	ALS Chemex - Unknown ME-MS61	ICP-MS	ALS Chemex - Unknown ME-MS61	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Aux Minières	73	5.8506	49.4950	NA	SCHAO 108c	Smelting Slag	0.07	0.10	3.69	10.04	0.03	0.01	NA	0.67	0.97	0.10	53.19	NA	NA	2.500	174.00	7.330	0.010	0.020	95.30	0.500	118.0	2.720	3.600	17.400	10.350	3.840	NA	NA	6.400	18.450	0.760	4.900	3.510	0.010	46.20	NA	1.550	0.790	12.200	64.40	0.500	NA	NA	NA	3.1000	NA	14.300	28.900	NA	0.05	15.300	NA	16.900	1.000	60.60	NA	0.750	3.030	NA	12.30	0.046	NA	1.630	2.200	397.0	6.000	105.00	10.050	15.00	216.00	ICP-MS	ALS Chemex - Unknown ME-MS61	ICP-MS	ALS Chemex - Unknown ME-MS61	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Aux Minières	4973	5.8506	49.4950	NA	SLHAO108-A	Smelting Slag	0.12	0.24	3.44	16.17	0.13	0.00	0	0.76	0.92	0.11	42.26	-5.23	NA	7.245	110.50	10.520	-0.001	0.131	89.76	1.378	155.4	2.225	5.491	14.130	8.028	3.319	NA	NA	7.276	13.860	0.590	5.377	2.821	0.197	39.26	NA	1.177	0.971	8.751	51.53	-0.001	NA	NA	NA	3.0746	NA	12.090	29.830	NA	20.83	-0.001	NA	13.520	0.627	69.98	NA	0.647	2.342	NA	14.67	0.251	NA	1.236	2.607	599.8	4.843	83.14	8.150	31.42	232.10	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Aux Minières	4974	5.8506	49.4950	NA	SLHAO108-B	Smelting Slag	0.08	0.41	3.88	15.01	0.18	0.00	0	0.75	1.25	0.13	43.16	-5.01	NA	11.860	125.90	14.480	-0.001	0.201	127.30	1.984	185.9	2.613	7.385	17.850	10.290	4.674	NA	NA	7.016	19.010	1.061	5.098	3.661	0.279	54.33	NA	1.510	1.722	8.280	75.89	11.310	NA	NA	NA	2.2696	NA	17.660	30.320	NA	26.83	-0.001	NA	19.670	0.707	104.70	NA	0.657	2.978	NA	19.18	0.255	NA	1.601	2.557	569.1	6.268	113.20	10.300	24.08	223.20	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Bigerling F70	698	6.0227	49.3086	-0025?~/0450?~	2271	Smelting Tap slag Slag	0.11	1.23	5.48	13.96	0.86	NA	NA	1.53	9.63	0.40	30.51	-3.98	NA	12.300	218.00	10.200	0.020	0.020	165.00	9.700	275.0	1.190	8.300	22.500	9.080	5.180	NA	NA	5.750	17.800	0.350	5.180	4.280	0.050	67.90	NA	1.970	1.570	13.800	79.70	11.400	NA	NA	NA	6.4800	NA	16.100	25.300	NA	0.22	NA	NA	25.100	0.590	237.00	NA	0.780	3.210	NA	33.80	0.300	NA	1.580	4.090	776.0	1.970	122.00	12.800	133.00	293.00	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	ICP-OES	CRPG - Thermo Fisher Scientific Icap 6500	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Bois dHaouy 01	74	5.8537	49.5021	0375?~/0600?~	SCHAO 103a	Smelting Slag	0.08	0.12	3.13	10.17	0.03	0.03	NA	0.64	0.91	0.12	53.84	NA	NA	8.100	128.00	9.170	0.010	0.020	81.60	1.000	87.0	1.870	2.900	10.550	5.180	2.920	NA	NA	3.400	13.400	0.780	4.000	1.900	0.010	47.70	NA	0.660	1.200	7.300	59.70	2.100	NA	NA	NA	51.2000	NA	14.650	32.500	NA	0.05	9.500	NA	14.000	1.000	59.80	NA	0.400	1.890	NA	11.30	0.158	NA	0.750	3.200	118.0	2.000	62.50	5.130	12.00	143.50	ICP-MS	ALS Chemex - Unknown ME-MS61	ICP-MS	ALS Chemex - Unknown ME-MS61	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265
Bois dHaouy 01	75	5.8537	49.5021	0375?~/0600?~	SCHAO 103b	Smelting Slag	0.09	0.24	5.27	13.76	0.04	0.04	NA	1.01	1.41	0.14	43.52	NA	NA	4.900	72.80	7.100	0.010	0.020	72.90	2.200	59.0	1.270	3.900	10.100	4.830	2.490	NA	NA	4.400	11.500	0.860	3.200	1.790	0.010	33.60	NA	0.670	5.760	5.900	47.30	3.000	NA	NA	NA	3.2000	NA	11.550	22.900	NA	0.05	11.200	NA	12.700	1.000	33.60	NA	0.360	1.770	NA	8.10	0.137	NA	0.720	2.500	67.0	2.000	52.20	5.030	27.00	127.00	ICP-MS	ALS Chemex - Unknown ME-MS61	ICP-MS	ALS Chemex - Unknown ME-MS61	https://onlinelibrary.wiley.com/doi/full/10.1111/arcm.12265

chrono(d = df$dataset_adisser17)

df <- db_api_connect(all_datasets = TRUE)
# all_datasets = TRUE: collecting all datasets from urls_data.tsv
# Requesting: http://157.136.252.188:3000/dataset_tyoungxx
# Requesting: http://157.136.252.188:3000/dataset_adisser17
# Requesting: http://157.136.252.188:3000/dataset_gzabinski23
# Requesting: http://157.136.252.188:3000/dataset_gpages22
# Requesting: http://157.136.252.188:3000/dataset_vserneels93
# Requesting: http://157.136.252.188:3000/dataset_sleroy12
# Requesting: http://157.136.252.188:3000/dataset_pdillmann17
# Requesting: http://157.136.252.188:3000/dataset_amdesaulty8a
# Requesting: http://157.136.252.188:3000/dataset_amdesaulty8b
# Requesting: http://157.136.252.188:3000/dataset_jmilot16
# Requesting: http://157.136.252.188:3000/dataset_mpcoustures06
# Requesting: http://157.136.252.188:3000/dataset_gstdidier17
# Requesting: http://157.136.252.188:3000/dataset_mbrauns13
# Requesting: http://157.136.252.188:3000/dataset_lheritier20
# Requesting: http://157.136.252.188:3000/dataset_mleroy97
# Requesting: http://157.136.252.188:3000/dataset_mleroy24
# Requesting: http://157.136.252.188:3000/dataset_leschenlohr01
# Requesting: http://157.136.252.188:3000/dataset_tivancan21
# Requesting: http://157.136.252.188:3000/dataset_pmameli14
# Requesting: http://157.136.252.188:3000/dataset_kmittelstaedt22
# Requesting: http://157.136.252.188:3000/dataset_mbenvenuti13
# Collected and merged 21 datasets. Total rows: 3225

Perspectives

Prochaines étapes du développement de la BDD CHIPS :

Dashboard : amélioration de l’interface, nouveaux outils de visualisation, de sélection et d’export ;
un data pipeline entre l’API des datasets et pour un dépôt standardisé et semi-automatique ;
nouvelles fonctions ( package ) ;
interface graphique utilisateur (GUI) avec pour la saisie des données.

Discussion

Site web: https://iramat.github.io/chips
GitHub: https://github.com/iramat/chips
GEO platform: https://fnp.huma-num.fr/aws/app/b652928b-ee00-11ef-a2bf-831c0bd9b87e/index.html

Footnotes

ISO 8601-2:2019
Operating System, système d’exploitation
Système de Gestion de Bases de Données