{
"cells": [
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Selection Functions\n",
"## Depth maps and selection functions\n",
"\n",
"The simplest selection function available is the field MOC which specifies the area for which there is Herschel data. Each pristine catalogue also has a MOC defining the area for which that data is available.\n",
"\n",
"This notebook should determine the correct field and filenames based on being placed in the correct folder.\n",
"\n",
"The next stage is to provide mean flux standard deviations which act as a proxy for the catalogue's 5$\\sigma$ depth"
]
},
{
"cell_type": "code",
"execution_count": 1,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"This notebook was run with herschelhelp_internal version: \n",
"1407877 (Mon Feb 4 12:56:29 2019 +0000)\n",
"This notebook was executed on: \n",
"2019-12-11 11:02:13.888658\n"
]
}
],
"source": [
"from herschelhelp_internal import git_version\n",
"print(\"This notebook was run with herschelhelp_internal version: \\n{}\".format(git_version()))\n",
"import datetime\n",
"print(\"This notebook was executed on: \\n{}\".format(datetime.datetime.now()))"
]
},
{
"cell_type": "code",
"execution_count": 2,
"metadata": {},
"outputs": [],
"source": [
"%matplotlib inline\n",
"#%config InlineBackend.figure_format = 'svg'\n",
"\n",
"import matplotlib.pyplot as plt\n",
"plt.rc('figure', figsize=(10, 6))\n",
"\n",
"import os\n",
"import time\n",
"\n",
"from astropy import units as u\n",
"from astropy.coordinates import SkyCoord\n",
"from astropy.table import Column, Table, join\n",
"import numpy as np\n",
"from pymoc import MOC\n",
"import healpy as hp\n",
"#import pandas as pd #Astropy has group_by function so apandas isn't required.\n",
"import seaborn as sns\n",
"\n",
"import warnings\n",
"#We ignore warnings - this is a little dangerous but a huge number of warnings are generated by empty cells later\n",
"warnings.filterwarnings('ignore')\n",
"\n",
"from herschelhelp_internal.utils import inMoc, coords_to_hpidx, flux_to_mag\n",
"from herschelhelp_internal.masterlist import find_last_ml_suffix, nb_ccplots\n",
"\n",
"from astropy.io.votable import parse_single_table\n",
"import yaml"
]
},
{
"cell_type": "code",
"execution_count": 3,
"metadata": {},
"outputs": [],
"source": [
"meta = yaml.load(open(\"./meta_main.yml\", 'r'))"
]
},
{
"cell_type": "code",
"execution_count": 4,
"metadata": {},
"outputs": [],
"source": [
"FIELD = meta['field']\n",
"#FILTERS_DIR = \"/Users/rs548/GitHub/herschelhelp_python/database_builder/filters/\"\n",
"FILTERS_DIR = \"/opt/herschelhelp_python/database_builder/filters/\""
]
},
{
"cell_type": "code",
"execution_count": 5,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Depth maps produced using: ELAIS-N1_20171016.fits\n"
]
}
],
"source": [
"TMP_DIR = os.environ.get('TMP_DIR', \"./data_tmp\")\n",
"OUT_DIR = os.environ.get('OUT_DIR', \"./data\")\n",
"#SUFFIX = find_last_ml_suffix()\n",
"SUFFIX = meta['final'].split('/')[-1].split('_')[-1].strip('.fits')\n",
"\n",
"master_catalogue_filename = meta['final'].split('/')[-1]\n",
"master_catalogue = Table.read(\"{}/{}\".format(OUT_DIR, master_catalogue_filename))\n",
"\n",
"print(\"Depth maps produced using: {}\".format(master_catalogue_filename))\n",
"\n",
"ORDER = 10\n",
"#TODO write code to decide on appropriate order\n",
"\n",
"field_moc = MOC(filename=\"../../dmu2/dmu2_field_coverages/{}_MOC.fits\".format(FIELD))"
]
},
{
"cell_type": "code",
"execution_count": 6,
"metadata": {},
"outputs": [],
"source": [
"# Remove sources whose signal to noise ratio is less than five as these will have been selected using forced \n",
"# photometry and so the errors will not refelct the RMS of the map \n",
"# For xid+ saource use s/n >2 as that is criteria we use for CIGALE\n",
"for n,col in enumerate(master_catalogue.colnames):\n",
" if col.startswith(\"f_spire\") or col.startswith(\"f_pacs\")or col.startswith(\"f_mips\"):\n",
" err_col = \"ferr{}\".format(col[1:])\n",
" errs = master_catalogue[err_col]\n",
" fluxes = master_catalogue[col]\n",
" mask = fluxes/errs < 2.0\n",
" master_catalogue[col][mask] = np.nan\n",
" master_catalogue[err_col][mask] = np.nan\n",
" elif col.startswith(\"f_\"):\n",
" err_col = \"ferr{}\".format(col[1:])\n",
" errs = master_catalogue[err_col]\n",
" fluxes = master_catalogue[col]\n",
" mask = fluxes/errs < 5.0\n",
" master_catalogue[col][mask] = np.nan\n",
" master_catalogue[err_col][mask] = np.nan"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## I - Group masterlist objects by healpix cell and calculate depths\n",
"We add a column to the masterlist catalogue for the target order healpix cell per object."
]
},
{
"cell_type": "code",
"execution_count": 7,
"metadata": {},
"outputs": [],
"source": [
"#Add a column to the catalogue with the order=ORDER hp_idx\n",
"master_catalogue.add_column(Column(data=coords_to_hpidx(master_catalogue['ra'],\n",
" master_catalogue['dec'],\n",
" ORDER), \n",
" name=\"hp_idx_O_{}\".format(str(ORDER))\n",
" )\n",
" )"
]
},
{
"cell_type": "code",
"execution_count": 8,
"metadata": {},
"outputs": [],
"source": [
"# Convert catalogue to pandas and group by the order=ORDER pixel\n",
"\n",
"group = master_catalogue.group_by([\"hp_idx_O_{}\".format(str(ORDER))])"
]
},
{
"cell_type": "code",
"execution_count": 9,
"metadata": {},
"outputs": [],
"source": [
"#Downgrade the groups from order=ORDER to order=13 and then fill out the appropriate cells\n",
"#hp.pixelfunc.ud_grade([2599293, 2599294], nside_out=hp.order2nside(13))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## II Create a table of all Order=13 healpix cells in the field and populate it\n",
"We create a table with every order=13 healpix cell in the field MOC. We then calculate the healpix cell at lower order that the order=13 cell is in. We then fill in the depth at every order=13 cell as calculated for the lower order cell that that the order=13 cell is inside."
]
},
{
"cell_type": "code",
"execution_count": 10,
"metadata": {},
"outputs": [],
"source": [
"depths = Table()\n",
"depths['hp_idx_O_13'] = list(field_moc.flattened(13))"
]
},
{
"cell_type": "code",
"execution_count": 11,
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"Table length=10\n",
"\n",
"| idx | hp_idx_O_13 |
|---|
\n",
"| 0 | 188743680 |
\n",
"| 1 | 188743681 |
\n",
"| 2 | 188743682 |
\n",
"| 3 | 188743683 |
\n",
"| 4 | 188743684 |
\n",
"| 5 | 188743685 |
\n",
"| 6 | 188743686 |
\n",
"| 7 | 188743687 |
\n",
"| 8 | 188743688 |
\n",
"| 9 | 188743689 |
\n",
"
\n",
"\n"
],
"text/plain": [
""
]
},
"execution_count": 11,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"depths[:10].show_in_notebook()"
]
},
{
"cell_type": "code",
"execution_count": 12,
"metadata": {},
"outputs": [],
"source": [
"depths.add_column(Column(data=hp.pixelfunc.ang2pix(2**ORDER,\n",
" hp.pixelfunc.pix2ang(2**13, depths['hp_idx_O_13'], nest=True)[0],\n",
" hp.pixelfunc.pix2ang(2**13, depths['hp_idx_O_13'], nest=True)[1],\n",
" nest = True),\n",
" name=\"hp_idx_O_{}\".format(str(ORDER))\n",
" )\n",
" )"
]
},
{
"cell_type": "code",
"execution_count": 13,
"metadata": {
"scrolled": true
},
"outputs": [
{
"data": {
"text/html": [
"Table length=10\n",
"\n",
"| idx | hp_idx_O_13 | hp_idx_O_10 |
|---|
\n",
"| 0 | 188743680 | 2949120 |
\n",
"| 1 | 188743681 | 2949120 |
\n",
"| 2 | 188743682 | 2949120 |
\n",
"| 3 | 188743683 | 2949120 |
\n",
"| 4 | 188743684 | 2949120 |
\n",
"| 5 | 188743685 | 2949120 |
\n",
"| 6 | 188743686 | 2949120 |
\n",
"| 7 | 188743687 | 2949120 |
\n",
"| 8 | 188743688 | 2949120 |
\n",
"| 9 | 188743689 | 2949120 |
\n",
"
\n",
"\n"
],
"text/plain": [
""
]
},
"execution_count": 13,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"depths[:10].show_in_notebook()"
]
},
{
"cell_type": "code",
"execution_count": 14,
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"Table masked=True length=10\n",
"\n",
"| idx | hp_idx_O_13 | hp_idx_O_10 | ferr_wfc_u_mean | f_wfc_u_p90 | ferr_ap_wfc_u_mean | f_ap_wfc_u_p90 | ferr_megacam_u_mean | f_megacam_u_p90 | ferr_ap_megacam_u_mean | f_ap_megacam_u_p90 | ferr_suprime_g_mean | f_suprime_g_p90 | ferr_ap_suprime_g_mean | f_ap_suprime_g_p90 | ferr_megacam_g_mean | f_megacam_g_p90 | ferr_ap_megacam_g_mean | f_ap_megacam_g_p90 | ferr_gpc1_g_mean | f_gpc1_g_p90 | ferr_ap_gpc1_g_mean | f_ap_gpc1_g_p90 | ferr_wfc_g_mean | f_wfc_g_p90 | ferr_ap_wfc_g_mean | f_ap_wfc_g_p90 | ferr_suprime_r_mean | f_suprime_r_p90 | ferr_ap_suprime_r_mean | f_ap_suprime_r_p90 | ferr_gpc1_r_mean | f_gpc1_r_p90 | ferr_ap_gpc1_r_mean | f_ap_gpc1_r_p90 | ferr_wfc_r_mean | f_wfc_r_p90 | ferr_ap_wfc_r_mean | f_ap_wfc_r_p90 | ferr_megacam_r_mean | f_megacam_r_p90 | ferr_ap_megacam_r_mean | f_ap_megacam_r_p90 | ferr_gpc1_i_mean | f_gpc1_i_p90 | ferr_ap_gpc1_i_mean | f_ap_gpc1_i_p90 | ferr_suprime_i_mean | f_suprime_i_p90 | ferr_ap_suprime_i_mean | f_ap_suprime_i_p90 | ferr_wfc_i_mean | f_wfc_i_p90 | ferr_ap_wfc_i_mean | f_ap_wfc_i_p90 | ferr_gpc1_z_mean | f_gpc1_z_p90 | ferr_ap_gpc1_z_mean | f_ap_gpc1_z_p90 | ferr_wfc_z_mean | f_wfc_z_p90 | ferr_ap_wfc_z_mean | f_ap_wfc_z_p90 | ferr_megacam_z_mean | f_megacam_z_p90 | ferr_ap_megacam_z_mean | f_ap_megacam_z_p90 | ferr_suprime_z_mean | f_suprime_z_p90 | ferr_ap_suprime_z_mean | f_ap_suprime_z_p90 | ferr_suprime_n921_mean | f_suprime_n921_p90 | ferr_ap_suprime_n921_mean | f_ap_suprime_n921_p90 | ferr_gpc1_y_mean | f_gpc1_y_p90 | ferr_ap_gpc1_y_mean | f_ap_gpc1_y_p90 | ferr_suprime_y_mean | f_suprime_y_p90 | ferr_ap_suprime_y_mean | f_ap_suprime_y_p90 | ferr_ukidss_j_mean | f_ukidss_j_p90 | ferr_ap_ukidss_j_mean | f_ap_ukidss_j_p90 | ferr_ukidss_k_mean | f_ukidss_k_p90 | ferr_ap_ukidss_k_mean | f_ap_ukidss_k_p90 | ferr_irac_i1_mean | f_irac_i1_p90 | ferr_ap_irac_i1_mean | f_ap_irac_i1_p90 | ferr_irac_i2_mean | f_irac_i2_p90 | ferr_ap_irac_i2_mean | f_ap_irac_i2_p90 | ferr_irac_i3_mean | f_irac_i3_p90 | ferr_ap_irac_i3_mean | f_ap_irac_i3_p90 | ferr_irac_i4_mean | f_irac_i4_p90 | ferr_ap_irac_i4_mean | f_ap_irac_i4_p90 | ferr_mips_24_mean | f_mips_24_p90 | ferr_pacs_green_mean | f_pacs_green_p90 | ferr_pacs_red_mean | f_pacs_red_p90 | ferr_spire_250_mean | f_spire_250_p90 | ferr_spire_350_mean | f_spire_350_p90 | ferr_spire_500_mean | f_spire_500_p90 |
|---|
\n",
" | | | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy |
|---|
\n",
"| 0 | 163569021 | 2555765 | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
\n",
"| 1 | 163568991 | 2555765 | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
\n",
"| 2 | 163569013 | 2555765 | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
\n",
"| 3 | 163569015 | 2555765 | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
\n",
"| 4 | 163569020 | 2555765 | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
\n",
"| 5 | 163569022 | 2555765 | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
\n",
"| 6 | 163569023 | 2555765 | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- |
\n",
"| 7 | 163569147 | 2555767 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.010108920590728137 | 0.2290022675644786 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.13345268 | 1.089431643486023 | 0.2270599 | 1.245086669921875 | nan | nan | nan | nan | 0.42242368994058377 | 3.3490377581455943 | 0.025902936584570435 | 3.0908622537161388 | nan | nan | nan | nan | 0.3065234 | 3.6174302101135254 | 0.4204881 | 4.0401692390441895 | 0.9499452301384836 | 4.7805749675210025 | 0.041914941356499084 | 3.223443091437031 | nan | nan | 1.3445915 | 9.011553764343262 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 8 | 163569150 | 2555767 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.010108920590728137 | 0.2290022675644786 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.13345268 | 1.089431643486023 | 0.2270599 | 1.245086669921875 | nan | nan | nan | nan | 0.42242368994058377 | 3.3490377581455943 | 0.025902936584570435 | 3.0908622537161388 | nan | nan | nan | nan | 0.3065234 | 3.6174302101135254 | 0.4204881 | 4.0401692390441895 | 0.9499452301384836 | 4.7805749675210025 | 0.041914941356499084 | 3.223443091437031 | nan | nan | 1.3445915 | 9.011553764343262 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 9 | 163569105 | 2555767 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.010108920590728137 | 0.2290022675644786 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.13345268 | 1.089431643486023 | 0.2270599 | 1.245086669921875 | nan | nan | nan | nan | 0.42242368994058377 | 3.3490377581455943 | 0.025902936584570435 | 3.0908622537161388 | nan | nan | nan | nan | 0.3065234 | 3.6174302101135254 | 0.4204881 | 4.0401692390441895 | 0.9499452301384836 | 4.7805749675210025 | 0.041914941356499084 | 3.223443091437031 | nan | nan | 1.3445915 | 9.011553764343262 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"
\n",
"\n"
],
"text/plain": [
""
]
},
"execution_count": 14,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"for col in master_catalogue.colnames:\n",
" if col.startswith(\"f_\"):\n",
" errcol = \"ferr{}\".format(col[1:])\n",
" depths = join(depths, \n",
" group[\"hp_idx_O_{}\".format(str(ORDER)), errcol].groups.aggregate(np.nanmean),\n",
" join_type='left')\n",
" depths[errcol].name = errcol + \"_mean\"\n",
" depths = join(depths, \n",
" group[\"hp_idx_O_{}\".format(str(ORDER)), col].groups.aggregate(lambda x: np.nanpercentile(x, 90.)),\n",
" join_type='left')\n",
" depths[col].name = col + \"_p90\"\n",
"\n",
"depths[:10].show_in_notebook()"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Add deepest for main bands\n",
"\n",
"For the standard common bands we find the minimum value across all specific bands."
]
},
{
"cell_type": "code",
"execution_count": 15,
"metadata": {},
"outputs": [],
"source": [
"standard = ['u', 'g', 'r', 'i', 'z', 'y', 'j', 'h', 'k', 'ks']"
]
},
{
"cell_type": "code",
"execution_count": 16,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"{'gpc1_g',\n",
" 'gpc1_i',\n",
" 'gpc1_r',\n",
" 'gpc1_y',\n",
" 'gpc1_z',\n",
" 'irac_i1',\n",
" 'irac_i2',\n",
" 'irac_i3',\n",
" 'irac_i4',\n",
" 'megacam_g',\n",
" 'megacam_r',\n",
" 'megacam_u',\n",
" 'megacam_z',\n",
" 'mips_24',\n",
" 'pacs_green',\n",
" 'pacs_red',\n",
" 'spire_250',\n",
" 'spire_350',\n",
" 'spire_500',\n",
" 'suprime_g',\n",
" 'suprime_i',\n",
" 'suprime_n921',\n",
" 'suprime_r',\n",
" 'suprime_y',\n",
" 'suprime_z',\n",
" 'ukidss_j',\n",
" 'ukidss_k',\n",
" 'wfc_g',\n",
" 'wfc_i',\n",
" 'wfc_r',\n",
" 'wfc_u',\n",
" 'wfc_z'}"
]
},
"execution_count": 16,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"tot_bands = [column[2:] for column in master_catalogue.colnames \n",
" if (column.startswith('f_') & ~column.startswith('f_ap_'))]\n",
"ap_bands = [column[5:] for column in master_catalogue.colnames \n",
" if column.startswith('f_ap_') ]\n",
"bands = set(tot_bands) | set(ap_bands)\n",
"bands"
]
},
{
"cell_type": "code",
"execution_count": 17,
"metadata": {},
"outputs": [],
"source": [
"for col in depths.colnames:\n",
" if depths[col].dtype == 'float64' or depths[col].dtype == 'float32':\n",
" depths[col].fill_value = np.nan\n",
" \n",
"depths = depths.filled()"
]
},
{
"cell_type": "code",
"execution_count": 18,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"u\n",
"['ferr_wfc_u_mean', 'ferr_megacam_u_mean']\n",
"['ferr_wfc_u_mean', 'ferr_megacam_u_mean']\n",
"g\n",
"['ferr_suprime_g_mean', 'ferr_megacam_g_mean', 'ferr_gpc1_g_mean', 'ferr_wfc_g_mean']\n",
"['ferr_suprime_g_mean', 'ferr_megacam_g_mean', 'ferr_gpc1_g_mean', 'ferr_wfc_g_mean']\n",
"r\n",
"['ferr_suprime_r_mean', 'ferr_gpc1_r_mean', 'ferr_wfc_r_mean', 'ferr_megacam_r_mean']\n",
"['ferr_suprime_r_mean', 'ferr_gpc1_r_mean', 'ferr_wfc_r_mean', 'ferr_megacam_r_mean']\n",
"i\n",
"['ferr_gpc1_i_mean', 'ferr_suprime_i_mean', 'ferr_wfc_i_mean']\n",
"['ferr_gpc1_i_mean', 'ferr_suprime_i_mean', 'ferr_wfc_i_mean']\n",
"z\n",
"['ferr_gpc1_z_mean', 'ferr_wfc_z_mean', 'ferr_megacam_z_mean', 'ferr_suprime_z_mean']\n",
"['ferr_gpc1_z_mean', 'ferr_wfc_z_mean', 'ferr_megacam_z_mean', 'ferr_suprime_z_mean']\n",
"y\n",
"['ferr_gpc1_y_mean', 'ferr_suprime_y_mean']\n",
"['ferr_gpc1_y_mean', 'ferr_suprime_y_mean']\n",
"j\n",
"['ferr_ukidss_j_mean']\n",
"['ferr_ukidss_j_mean']\n",
"h\n",
"[]\n",
"[]\n",
"k\n",
"['ferr_ukidss_k_mean']\n",
"['ferr_ukidss_k_mean']\n",
"ks\n",
"[]\n",
"[]\n"
]
}
],
"source": [
"for band in standard:\n",
" print(band)\n",
" #ap_bands\n",
" list_of_ap_cols = np.array([ b if b.endswith('_{}'.format(band)) else None for b in ap_bands])\n",
" list_of_ap_cols = list_of_ap_cols[list_of_ap_cols != None]\n",
" list_of_ap_cols = ['ferr_{}_mean'.format(b) for b in list_of_ap_cols]\n",
" print(list_of_ap_cols)\n",
" if len(list_of_ap_cols) >0:\n",
" depths['ferr_ap_{}_mean'.format(band)] = np.nanmin([depths[t] for t in list_of_ap_cols], axis=0)\n",
" #tot_bands\n",
" list_of_tot_cols = np.array([ b if b.endswith('_{}'.format(band)) else None for b in tot_bands])\n",
" list_of_tot_cols = list_of_tot_cols[list_of_tot_cols != None]\n",
" list_of_tot_cols = ['ferr_{}_mean'.format(b) for b in list_of_tot_cols]\n",
" print(list_of_tot_cols)\n",
" if len(list_of_tot_cols) >0:\n",
" depths['ferr_{}_mean'.format(band)] = np.nanmin([depths[t] for t in list_of_tot_cols], axis=0)"
]
},
{
"cell_type": "code",
"execution_count": 19,
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"Table length=263682\n",
"\n",
"| hp_idx_O_13 | hp_idx_O_10 | ferr_wfc_u_mean | f_wfc_u_p90 | ferr_ap_wfc_u_mean | f_ap_wfc_u_p90 | ferr_megacam_u_mean | f_megacam_u_p90 | ferr_ap_megacam_u_mean | f_ap_megacam_u_p90 | ferr_suprime_g_mean | f_suprime_g_p90 | ferr_ap_suprime_g_mean | f_ap_suprime_g_p90 | ferr_megacam_g_mean | f_megacam_g_p90 | ferr_ap_megacam_g_mean | f_ap_megacam_g_p90 | ferr_gpc1_g_mean | f_gpc1_g_p90 | ferr_ap_gpc1_g_mean | f_ap_gpc1_g_p90 | ferr_wfc_g_mean | f_wfc_g_p90 | ferr_ap_wfc_g_mean | f_ap_wfc_g_p90 | ferr_suprime_r_mean | f_suprime_r_p90 | ferr_ap_suprime_r_mean | f_ap_suprime_r_p90 | ferr_gpc1_r_mean | f_gpc1_r_p90 | ferr_ap_gpc1_r_mean | f_ap_gpc1_r_p90 | ferr_wfc_r_mean | f_wfc_r_p90 | ferr_ap_wfc_r_mean | f_ap_wfc_r_p90 | ferr_megacam_r_mean | f_megacam_r_p90 | ferr_ap_megacam_r_mean | f_ap_megacam_r_p90 | ferr_gpc1_i_mean | f_gpc1_i_p90 | ferr_ap_gpc1_i_mean | f_ap_gpc1_i_p90 | ferr_suprime_i_mean | f_suprime_i_p90 | ferr_ap_suprime_i_mean | f_ap_suprime_i_p90 | ferr_wfc_i_mean | f_wfc_i_p90 | ferr_ap_wfc_i_mean | f_ap_wfc_i_p90 | ferr_gpc1_z_mean | f_gpc1_z_p90 | ferr_ap_gpc1_z_mean | f_ap_gpc1_z_p90 | ferr_wfc_z_mean | f_wfc_z_p90 | ferr_ap_wfc_z_mean | f_ap_wfc_z_p90 | ferr_megacam_z_mean | f_megacam_z_p90 | ferr_ap_megacam_z_mean | f_ap_megacam_z_p90 | ferr_suprime_z_mean | f_suprime_z_p90 | ferr_ap_suprime_z_mean | f_ap_suprime_z_p90 | ferr_suprime_n921_mean | f_suprime_n921_p90 | ferr_ap_suprime_n921_mean | f_ap_suprime_n921_p90 | ferr_gpc1_y_mean | f_gpc1_y_p90 | ferr_ap_gpc1_y_mean | f_ap_gpc1_y_p90 | ferr_suprime_y_mean | f_suprime_y_p90 | ferr_ap_suprime_y_mean | f_ap_suprime_y_p90 | ferr_ukidss_j_mean | f_ukidss_j_p90 | ferr_ap_ukidss_j_mean | f_ap_ukidss_j_p90 | ferr_ukidss_k_mean | f_ukidss_k_p90 | ferr_ap_ukidss_k_mean | f_ap_ukidss_k_p90 | ferr_irac_i1_mean | f_irac_i1_p90 | ferr_ap_irac_i1_mean | f_ap_irac_i1_p90 | ferr_irac_i2_mean | f_irac_i2_p90 | ferr_ap_irac_i2_mean | f_ap_irac_i2_p90 | ferr_irac_i3_mean | f_irac_i3_p90 | ferr_ap_irac_i3_mean | f_ap_irac_i3_p90 | ferr_irac_i4_mean | f_irac_i4_p90 | ferr_ap_irac_i4_mean | f_ap_irac_i4_p90 | ferr_mips_24_mean | f_mips_24_p90 | ferr_pacs_green_mean | f_pacs_green_p90 | ferr_pacs_red_mean | f_pacs_red_p90 | ferr_spire_250_mean | f_spire_250_p90 | ferr_spire_350_mean | f_spire_350_p90 | ferr_spire_500_mean | f_spire_500_p90 | ferr_ap_u_mean | ferr_u_mean | ferr_ap_g_mean | ferr_g_mean | ferr_ap_r_mean | ferr_r_mean | ferr_ap_i_mean | ferr_i_mean | ferr_ap_z_mean | ferr_z_mean | ferr_ap_y_mean | ferr_y_mean | ferr_ap_j_mean | ferr_j_mean | ferr_ap_k_mean | ferr_k_mean |
|---|
\n",
" | | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | | | | | | | | | | | | | | | | |
|---|
\n",
"| int64 | int64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float64 | float64 | float64 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float64 | float64 | float64 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float64 | float64 | float64 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float64 | float64 | float64 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float32 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float32 | float64 | float32 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float32 | float32 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float64 | float32 | float32 | float32 | float32 |
|---|
\n",
"| 163569021 | 2555765 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 163568991 | 2555765 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 163569013 | 2555765 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 163569015 | 2555765 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 163569020 | 2555765 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 163569022 | 2555765 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 163569023 | 2555765 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 163569147 | 2555767 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.010108920590728137 | 0.2290022675644786 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.13345268 | 1.089431643486023 | 0.2270599 | 1.245086669921875 | nan | nan | nan | nan | 0.42242368994058377 | 3.3490377581455943 | 0.025902936584570435 | 3.0908622537161388 | nan | nan | nan | nan | 0.3065234 | 3.6174302101135254 | 0.4204881 | 4.0401692390441895 | 0.9499452301384836 | 4.7805749675210025 | 0.041914941356499084 | 3.223443091437031 | nan | nan | 1.3445915 | 9.011553764343262 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.13345268368721008 | 0.13345268368721008 | 0.3065234124660492 | 0.3065234124660492 | 0.9499452301384836 | 0.9499452301384836 | nan | nan | nan | nan | nan | nan |
\n",
"| 163569150 | 2555767 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.010108920590728137 | 0.2290022675644786 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.13345268 | 1.089431643486023 | 0.2270599 | 1.245086669921875 | nan | nan | nan | nan | 0.42242368994058377 | 3.3490377581455943 | 0.025902936584570435 | 3.0908622537161388 | nan | nan | nan | nan | 0.3065234 | 3.6174302101135254 | 0.4204881 | 4.0401692390441895 | 0.9499452301384836 | 4.7805749675210025 | 0.041914941356499084 | 3.223443091437031 | nan | nan | 1.3445915 | 9.011553764343262 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 0.13345268368721008 | 0.13345268368721008 | 0.3065234124660492 | 0.3065234124660492 | 0.9499452301384836 | 0.9499452301384836 | nan | nan | nan | nan | nan | nan |
\n",
"| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
\n",
"| 188853544 | 2950836 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188853545 | 2950836 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188853546 | 2950836 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188853540 | 2950836 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188853518 | 2950836 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188853506 | 2950836 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188854272 | 2950848 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188854273 | 2950848 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188854280 | 2950848 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"| 188854274 | 2950848 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan |
\n",
"
"
],
"text/plain": [
"\n",
"hp_idx_O_13 hp_idx_O_10 ferr_wfc_u_mean ... ferr_ap_k_mean ferr_k_mean\n",
" uJy ... \n",
" int64 int64 float32 ... float32 float32 \n",
"----------- ----------- --------------- ... -------------- -----------\n",
" 163569021 2555765 nan ... nan nan\n",
" 163568991 2555765 nan ... nan nan\n",
" 163569013 2555765 nan ... nan nan\n",
" 163569015 2555765 nan ... nan nan\n",
" 163569020 2555765 nan ... nan nan\n",
" 163569022 2555765 nan ... nan nan\n",
" 163569023 2555765 nan ... nan nan\n",
" 163569147 2555767 nan ... nan nan\n",
" 163569150 2555767 nan ... nan nan\n",
" ... ... ... ... ... ...\n",
" 188853544 2950836 nan ... nan nan\n",
" 188853545 2950836 nan ... nan nan\n",
" 188853546 2950836 nan ... nan nan\n",
" 188853540 2950836 nan ... nan nan\n",
" 188853518 2950836 nan ... nan nan\n",
" 188853506 2950836 nan ... nan nan\n",
" 188854272 2950848 nan ... nan nan\n",
" 188854273 2950848 nan ... nan nan\n",
" 188854280 2950848 nan ... nan nan\n",
" 188854274 2950848 nan ... nan nan"
]
},
"execution_count": 19,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"depths"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## III - Save the depth map table"
]
},
{
"cell_type": "code",
"execution_count": 21,
"metadata": {},
"outputs": [],
"source": [
"depths.write(\"{}/depths_{}_{}.fits\".format(OUT_DIR, FIELD.lower(), SUFFIX), overwrite=True)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## IV - Overview plots\n",
"\n",
"### IV.a - Filters\n",
"First we simply plot all the filters available on this field to give an overview of coverage."
]
},
{
"cell_type": "code",
"execution_count": 22,
"metadata": {},
"outputs": [
{
"ename": "FileNotFoundError",
"evalue": "[Errno 2] No such file or directory: '/opt/herschelhelp_python/database_builder/filters/pacs_green.xml'",
"output_type": "error",
"traceback": [
"\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
"\u001b[0;31mFileNotFoundError\u001b[0m Traceback (most recent call last)",
"\u001b[0;32m\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[1;32m 1\u001b[0m \u001b[0;32mfor\u001b[0m \u001b[0mb\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mbands\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 2\u001b[0;31m plt.plot(Table(data = parse_single_table(FILTERS_DIR + b + '.xml').array.data)['Wavelength']\n\u001b[0m\u001b[1;32m 3\u001b[0m \u001b[0;34m,\u001b[0m\u001b[0mTable\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdata\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mparse_single_table\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mFILTERS_DIR\u001b[0m \u001b[0;34m+\u001b[0m \u001b[0mb\u001b[0m \u001b[0;34m+\u001b[0m \u001b[0;34m'.xml'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0marray\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdata\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m'Transmission'\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 4\u001b[0m , label=b)\n\u001b[1;32m 5\u001b[0m \u001b[0mplt\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mxlabel\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'Wavelength ($\\AA$)'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
"\u001b[0;32m~/anaconda/envs/herschelhelp_internal/lib/python3.6/site-packages/astropy/io/votable/table.py\u001b[0m in \u001b[0;36mparse_single_table\u001b[0;34m(source, **kwargs)\u001b[0m\n\u001b[1;32m 153\u001b[0m \u001b[0mkwargs\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m'table_number'\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;36m0\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 154\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 155\u001b[0;31m \u001b[0mvotable\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mparse\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0msource\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m 156\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 157\u001b[0m \u001b[0;32mreturn\u001b[0m \u001b[0mvotable\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_first_table\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
"\u001b[0;32m~/anaconda/envs/herschelhelp_internal/lib/python3.6/site-packages/astropy/io/votable/table.py\u001b[0m in \u001b[0;36mparse\u001b[0;34m(source, columns, invalid, pedantic, chunk_size, table_number, table_id, filename, unit_format, datatype_mapping, _debug_python_based_parser)\u001b[0m\n\u001b[1;32m 133\u001b[0m with iterparser.get_xml_iterator(\n\u001b[1;32m 134\u001b[0m \u001b[0msource\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 135\u001b[0;31m _debug_python_based_parser=_debug_python_based_parser) as iterator:\n\u001b[0m\u001b[1;32m 136\u001b[0m return tree.VOTableFile(\n\u001b[1;32m 137\u001b[0m config=config, pos=(1, 1)).parse(iterator, config)\n",
"\u001b[0;32m~/anaconda/envs/herschelhelp_internal/lib/python3.6/contextlib.py\u001b[0m in \u001b[0;36m__enter__\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m 79\u001b[0m \u001b[0;32mdef\u001b[0m \u001b[0m__enter__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 80\u001b[0m \u001b[0;32mtry\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 81\u001b[0;31m \u001b[0;32mreturn\u001b[0m \u001b[0mnext\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mgen\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m 82\u001b[0m \u001b[0;32mexcept\u001b[0m \u001b[0mStopIteration\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 83\u001b[0m \u001b[0;32mraise\u001b[0m \u001b[0mRuntimeError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"generator didn't yield\"\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mfrom\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
"\u001b[0;32m~/anaconda/envs/herschelhelp_internal/lib/python3.6/site-packages/astropy/utils/xml/iterparser.py\u001b[0m in \u001b[0;36mget_xml_iterator\u001b[0;34m(source, _debug_python_based_parser)\u001b[0m\n\u001b[1;32m 155\u001b[0m \u001b[0mevent\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 156\u001b[0m \"\"\"\n\u001b[0;32m--> 157\u001b[0;31m \u001b[0;32mwith\u001b[0m \u001b[0m_convert_to_fd_or_read_function\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0msource\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0mfd\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m 158\u001b[0m \u001b[0;32mif\u001b[0m \u001b[0m_debug_python_based_parser\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 159\u001b[0m \u001b[0mcontext\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0m_slow_iterparse\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mfd\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
"\u001b[0;32m~/anaconda/envs/herschelhelp_internal/lib/python3.6/contextlib.py\u001b[0m in \u001b[0;36m__enter__\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m 79\u001b[0m \u001b[0;32mdef\u001b[0m \u001b[0m__enter__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 80\u001b[0m \u001b[0;32mtry\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 81\u001b[0;31m \u001b[0;32mreturn\u001b[0m \u001b[0mnext\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mgen\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m 82\u001b[0m \u001b[0;32mexcept\u001b[0m \u001b[0mStopIteration\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 83\u001b[0m \u001b[0;32mraise\u001b[0m \u001b[0mRuntimeError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"generator didn't yield\"\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mfrom\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
"\u001b[0;32m~/anaconda/envs/herschelhelp_internal/lib/python3.6/site-packages/astropy/utils/xml/iterparser.py\u001b[0m in \u001b[0;36m_convert_to_fd_or_read_function\u001b[0;34m(fd)\u001b[0m\n\u001b[1;32m 61\u001b[0m \u001b[0;32mreturn\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 62\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 63\u001b[0;31m \u001b[0;32mwith\u001b[0m \u001b[0mdata\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_readable_fileobj\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mfd\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mencoding\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m'binary'\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0mnew_fd\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m 64\u001b[0m \u001b[0;32mif\u001b[0m \u001b[0msys\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mplatform\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mstartswith\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'win'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 65\u001b[0m \u001b[0;32myield\u001b[0m \u001b[0mnew_fd\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mread\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
"\u001b[0;32m~/anaconda/envs/herschelhelp_internal/lib/python3.6/contextlib.py\u001b[0m in \u001b[0;36m__enter__\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m 79\u001b[0m \u001b[0;32mdef\u001b[0m \u001b[0m__enter__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 80\u001b[0m \u001b[0;32mtry\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 81\u001b[0;31m \u001b[0;32mreturn\u001b[0m \u001b[0mnext\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mgen\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m 82\u001b[0m \u001b[0;32mexcept\u001b[0m \u001b[0mStopIteration\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 83\u001b[0m \u001b[0;32mraise\u001b[0m \u001b[0mRuntimeError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"generator didn't yield\"\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mfrom\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
"\u001b[0;32m~/anaconda/envs/herschelhelp_internal/lib/python3.6/site-packages/astropy/utils/data.py\u001b[0m in \u001b[0;36mget_readable_fileobj\u001b[0;34m(name_or_obj, encoding, cache, show_progress, remote_timeout)\u001b[0m\n\u001b[1;32m 191\u001b[0m \u001b[0mname_or_obj\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mcache\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mcache\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mshow_progress\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mshow_progress\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 192\u001b[0m timeout=remote_timeout)\n\u001b[0;32m--> 193\u001b[0;31m \u001b[0mfileobj\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mio\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mFileIO\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mname_or_obj\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'r'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m 194\u001b[0m \u001b[0;32mif\u001b[0m \u001b[0mis_url\u001b[0m \u001b[0;32mand\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0mcache\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 195\u001b[0m \u001b[0mdelete_fds\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mappend\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mfileobj\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
"\u001b[0;31mFileNotFoundError\u001b[0m: [Errno 2] No such file or directory: '/opt/herschelhelp_python/database_builder/filters/pacs_green.xml'"
]
}
],
"source": [
"for b in bands:\n",
" plt.plot(Table(data = parse_single_table(FILTERS_DIR + b + '.xml').array.data)['Wavelength']\n",
" ,Table(data = parse_single_table(FILTERS_DIR + b + '.xml').array.data)['Transmission']\n",
" , label=b)\n",
"plt.xlabel('Wavelength ($\\AA$)')\n",
"plt.ylabel('Transmission')\n",
"plt.xscale('log')\n",
"plt.legend(bbox_to_anchor=(1.05, 1), loc=2, borderaxespad=0.)\n",
"plt.title('Passbands on {}'.format(FIELD))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### IV.a - Depth overview\n",
"Then we plot the mean depths available across the area a given band is available"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"average_depths = []\n",
"for b in ap_bands:\n",
" \n",
" mean_err = np.nanmean(depths['ferr_ap_{}_mean'.format(b)])\n",
" print(\"{}: mean flux error: {}, 3sigma in AB mag (Aperture): {}\".format(b, mean_err, flux_to_mag(3.0*mean_err*1.e-6)[0]))\n",
" average_depths += [('ap_' + b, flux_to_mag(1.0*mean_err*1.e-6)[0], \n",
" flux_to_mag(3.0*mean_err*1.e-6)[0], \n",
" flux_to_mag(5.0*mean_err*1.e-6)[0])]\n",
" \n",
"for b in tot_bands:\n",
" \n",
" mean_err = np.nanmean(depths['ferr_{}_mean'.format(b)])\n",
" print(\"{}: mean flux error: {}, 3sigma in AB mag (Total): {}\".format(b, mean_err, flux_to_mag(3.0*mean_err*1.e-6)[0]))\n",
" average_depths += [(b, flux_to_mag(1.0*mean_err*1.e-6)[0], \n",
" flux_to_mag(3.0*mean_err*1.e-6)[0], \n",
" flux_to_mag(5.0*mean_err*1.e-6)[0])]\n",
" \n",
"average_depths = np.array(average_depths, dtype=[('band', \"