b06-pynum

%23%20%2F%2F%2F%20script%0A%23%20dependencies%20%3D%20%5B%22marimo%22%2C%20%22numpy%22%2C%20%22openpyxl%22%2C%20%22pandas%22%2C%20%22fun%20%40%20..%2Fpublic%2Fwheels%2Ffun-0.0.0%252Bmarimo.ac7869379108-py3-none-any.whl%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_()%3A%0A%20%20%20%20%23%20WebAssembly%20(browser)%20version%20only%3A%20download%20the%20course%20data%20files%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20if%20_sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20os%20as%20_os%0A%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20pyfetch%20as%20_pyfetch%0A%0A%20%20%20%20%20%20%20%20for%20_file%20in%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22data%2Fpure-numbers.txt%22%2C%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_os.makedirs(_os.path.dirname(_file)%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20_response%20%3D%20await%20_pyfetch(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fsschwindt%2Fmarimo-python-course%2Fmain%2F%22%20%2B%20_file%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20open(_file%2C%20%22wb%22)%20as%20_local_file%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_local_file.write(await%20_response.bytes())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Data%20Files%2C%20NumPy%20%26%20Pandas%0A%0A%20%20%20%20Basic%20(text)%20file%20handling%2C%20*NumPy*%2C%20*pandas*%2C%20and%20*DateTime*.%20This%20notebook%20is%20also%20available%20at%20%5Bhydro-informatics.com%5D(https%3A%2F%2Fhydro-informatics.com%2Fjupyter%2Fpynum.html).%0A%0A%20%20%20%20%23%20Load%20and%20Write%20Basic%20Data%20Files%0A%0A%20%20%20%20Data%20can%20be%20stored%20in%20many%20different%20(text)%20file%20formats%20such%20as%20*txt*%20or%20*csv*%20files.%20Python%20provides%20the%20%60open(file)%60%20and%20%60write(...)%60%20functions%20to%20read%20and%20write%20data%20from%20nearly%20every%20text%20file%20format.%20In%20addition%2C%20there%20are%20packages%20such%20as%20%60csv%60%20(for%20*csv*%20files)%2C%20which%20simplify%20handling%20specific%20file%20types.%20The%20following%20sections%20illustrate%20the%20use%20of%20the%20%60open(file)%60%20and%20%60write(...)%60%20functions.%20The%20later%20shown%20*pandas*%20module%20provides%20more%20functions%20to%20import%20and%20export%20numeric%20data%20along%20with%20row%20and%20column%20headers.%0A%0A%20%20%20%20%23%23%20Load%20(Open)%20Text%20File%20Data%0A%0A%20%20%20%20The%20%60open%60%20command%20loads%20text%20files%20as%20file%20object%20in%20Python.%20The%20syntax%20of%20the%20%60open%60%20command%20is%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20open(%22file-name%22%2C%20%22mode%22)%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20where%3A%0A%0A%20%20%20%20*%20%60file-name%60%20is%20the%20file%20to%20open%20(e.g.%2C%20%60%22data.txt%22%60)%3B%20if%20the%20file%20is%20not%20in%20the%20script%20directory%2C%20the%20*filename*%20needs%20to%20be%20extended%20by%20the%20full%20directory%20(path)%20to%20the%20data%20file%20(e.g.%2C%20%60%22C%3A%2Fexperiment1%2Fdata.txt%22%60).%0A%20%20%20%20*%20%60mode%60%20defines%20the%20access%20type%20and%20it%20can%20take%20the%20following%20values%3A%0A%20%20%20%20%20%20%20%20-%20%60%22r%22%60%20-%20read-only%20(default%20value%20if%20no%20%60%22mode%22%60%20value%20is%20provided)%3B%20the%20file%20cannot%20be%20modified%20nor%20overwritten.%0A%20%20%20%20%20%20%20%20-%20%60%22rb%22%60%20-%20read-only%20in%20binary%20format%3B%20the%20binary%20format%20is%20advantageous%20if%20the%20file%20is%20not%20a%20text%20file%20but%20media%20such%20as%20pictures%20or%20videos.%0A%20%20%20%20%20%20%20%20-%20%60%22r%2B%22%60%20-%20read%20and%20write%20(no%20new%20file%20will%20be%20created).%0A%20%20%20%20%20%20%20%20-%20%60%22w%22%60%20-%20write-only%3B%20a%20new%20file%20is%20created%20if%20a%20file%20with%20the%20provided%20%60file-name%60%20does%20not%20yet%20exist.%0A%20%20%20%20%20%20%20%20-%20%60%22wb%22%60%20-%20write-only%20in%20binary%20mode.%0A%20%20%20%20%20%20%20%20-%20%60%22w%2B%22%60%20-%20create%2C%20write%20and%20read.%0A%20%20%20%20%20%20%20%20-%20%60%22wb%2B%22%60%20-%20write%20and%20read%20in%20binary%20mode.%0A%20%20%20%20%20%20%20%20-%20%60%22a%22%60%20-%20append%20new%20data%20to%20a%20file%3B%20the%20write-pointer%20is%20placed%20at%20the%20end%20of%20the%20file%20and%20a%20new%20file%20is%20created%20if%20a%20file%20with%20the%20provided%20%60file%20name%60%20does%20not%20yet%20exist.%0A%20%20%20%20%20%20%20%20-%20%60%22ab%22%60%20-%20append%20new%20data%20in%20binary%20mode%20(write-only).%0A%20%20%20%20%20%20%20%20-%20%60%22a%2B%22%60%20-%20both%20append%20(write%20at%20the%20end)%20and%20read.%0A%20%20%20%20%20%20%20%20-%20%60%22ab%2B%22%60%20-%20append%20and%20read%20data%20in%20binary%20mode.%0A%0A%20%20%20%20When%20%60%22r%22%60%20or%20%60%22w%22%60%20modes%20are%20used%2C%20the%20file%20pointer%20(i.e%2C%20the%20blinking%20cursor%20that%20you%20can%20see%2C%20for%20example%2C%20in%20Word%20documents)%20is%20placed%20at%20the%20beginning%20of%20the%20file.%20For%20%60%22a%22%60%20modes%2C%20the%20file%20pointer%20is%20placed%20at%20the%20end%20of%20the%20file.%0A%0A%20%20%20%20It%20is%20good%20practice%20to%20read%20and%20write%20data%20from%20and%20to%20a%20file%20within%20a%20%60with%60%20statement%20to%20avoid%20file%20lock%20issues.%20For%20example%2C%20the%20following%20code%20block%20creates%20a%20new%20text%20file%20within%20a%20%60with%60%20statement%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20with%20open(%22data%2Fnew.csv%22%2C%20mode%3D%22w%2B%22)%20as%20file%3A%0A%20%20%20%20%20%20%20%20file.write(%22And%20yet%20it%20moves.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Read-only%0A%0A%20%20%20%20Once%20the%20file%20object%20is%20created%2C%20we%20can%20parse%20the%20file%20and%20copy%20the%20file%20data%20content%20to%20a%20desired%20Python%20%5Bdata%20type%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpybase.html%23var)%20(e.g.%2C%20a%20list%2C%20tuple%20or%20dictionary).%20Parsing%20the%20data%20works%20with%20%5B*for-loops*%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyloop.html%23for)%20(other%20loop%20types%20will%20also%20work)%20to%20iterate%20on%20lines%20and%20line%20entries.%20The%20lines%20represent%20*strings*%20and%20data%20columns%20can%20be%20separated%20by%20using%20the%20built-in%20*string*%20function%20%60line_as_list%20%3D%20str().split(%22SEPARATOR%22)%60%2C%20where%20%60%22SEPARATOR%22%60%20can%20be%20%60%22%2C%22%60%20(comma)%2C%20%60%22%3B%22%60%20(semicolon)%2C%20%60%22%5Ct%22%60%20(tab)%2C%20or%20any%20other%20sign.%20After%20reading%20all%20data%20from%20a%20file%2C%20use%20%60file_object.close()%60%20to%20avoid%20that%20the%20file%20is%20locked%20by%20Python%20and%20cannot%20be%20opened%20by%20another%20program.%0A%0A%20%20%20%20The%20following%20example%20opens%20a%20text%20file%20called%20*pure-numbers.txt*%20(%5Bdownload%20pure-numbers.txt%5D(https%3A%2F%2Fraw.githubusercontent.com%2Fhydro-informatics%2Fjupyter-python-course%2Fmain%2Fdata%2Fpure-numbers.txt)%20into%20a%20local%20sub-folder%20called%20*data*)%20that%20contains%20*float*%20numbers%20between%200.0%20and%2010.0.%20The%20file%20has%2017%20data%20rows%20(e.g.%2C%20for%2017%20experimental%20runs)%20and%204%20data%20columns%20(e.g.%2C%20for%204%20measurements%20per%20experimental%20run)%2C%20which%20are%20separated%20by%20a%20*TAB*%20(%60%22%5Ct%22%60%20separator).%20The%20below%20code%20block%20uses%20the%20built-in%20function%20%60readlines()%60%20to%20parse%20the%20file%20lines%2C%20splits%20the%20lines%20using%20the%20%60%22%5Ct%22%60%20separator%2C%20and%20loops%20over%20the%20line%20entries%20to%20append%20them%20to%20the%20list%20variable%20%60data_list%60%20only%20if%20%60entry%60%20is%20numeric%20(verified%20with%20the%20%60try%60%20-%20%60except%60%20statement).%20%60data_list%60%20is%20a%20nested%20list%20that%20is%20initiated%20at%20the%20beginning%20of%20the%20script%20and%20a%20sub-list%20(nested%20list)%20is%20appended%20for%20every%20file%20line%20(row).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20_file_object%20%3D%20open('data%2Fpure-numbers.txt')%20%20%23%20read%20file%20with%20default%20%22mode%22%3D%22r%22%0A%20%20%20%20data_list%20%3D%20%5B%5D%0A%20%20%20%20for%20_line%20in%20_file_object.readlines()%3A%20%20%23%20this%20will%20be%20a%20nested%20list%20with%2017%20sub-lists%20(rows)%20containing%204%20entries%20(columns)%3D%0A%20%20%20%20%20%20%20%20_line_as_list%20%3D%20_line.split('%5Ct')%0A%20%20%20%20%20%20%20%20data_list.append(%5B%5D)%0A%20%20%20%20%20%20%20%20for%20_entry%20in%20_line_as_list%3A%20%20%23%20converts%20the%20line%20into%20a%20list%20using%20a%20tab%20(%5Ct)%20separator%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%20%20%23%20append%20an%20empty%20sub-list%20for%20every%20file%20line%20(17%20rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data_list%5B-1%5D.append(float(_entry))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20ValueError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print('Warning%3A%20%25s%20is%20not%20a%20number.%20Replacing%20value%20with%200.0.'%20%25%20str(_entry))%20%20%23%20try%20to%20append%20the%20entry%20as%20floating%20point%20number%20to%20the%20last%20sub-list%2C%20which%20is%20pointed%20at%20using%20%5B-1%5D%0A%20%20%20%20print('Number%20of%20rows%3A%20%25d'%20%25%20len(data_list))%0A%20%20%20%20print('Number%20of%20columns%3A%20%25d'%20%25%20len(data_list%5B0%5D))%0A%20%20%20%20_file_object.close()%20%20%23%20if%20entry%20is%20not%20numeric%2C%20append%200.0%20to%20the%20sub-list%20and%20print%20a%20warning%20message%0A%20%20%20%20%23%20verify%20that%20data_list%20contains%20the%2017%20rows%20(sub-lists)%20with%20the%20built-in%20list%20function%20__len__()%0A%20%20%20%20%23%20verify%20that%20the%20first%20sub-list%20has%20four%20entries%20(number%20of%20columns)%0A%20%20%20%20print(data_list)%20%20%23%20close%20file%20(otherwise%20it%20will%20be%20locked%20as%20long%20as%20Python%20is%20still%20running!)%20alternative%3A%20use%20with-statement%20%20%23%20print%20the%20data%0A%20%20%20%20return%20(data_list%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3E%20**Recall%3A**%20The%20%60with%60%20statement%20from%20the%20above%20example%20avoids%20that%20we%20need%20to%20write%20%60file.close()%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Create%20and%20Write%20Files%0A%0A%20%20%20%20A%20file%20is%20created%20with%20the%20%60%22w%22%60%20or%20%60%22a%22%60%20modes%20(e.g.%2C%20%60open(file_name%2C%20mode%3D%22a%22)%60).%0A%0A%20%20%20%20%3E%20**Tip%3A**%20When%20%60mode%3D%22w%22%60%2C%20the%20provided%20file%20is%20opened%20with%20the%20pointer%20at%20position%20zero.%20Writing%20data%20will%20make%20the%20pointer%20overwrite%20any%20existing%20data%20at%20the%20position.%20That%20means%20any%20existing%20data%20in%20the%20opened%20file%20will%20be%20overwritten.%20To%20avoid%20overwriting%20data%20in%20an%20existing%20file%20use%20%60mode%3D%22a%22%60.%0A%0A%20%20%20%20Imagine%20that%20the%20loaded%20%60data_list%60%20contains%20measurements%20in%20mm.%20For%20each%20value%20in%20each%20sub-list%2C%20append%20the%20string%20%60%22nan%22%60%20to%20%60new_data_list%60%20if%20the%20value%20is%20less%20than%20or%20equal%20to%201.0%3B%20otherwise%2C%20preserve%20the%20original%20numeric%20value.%20If%20indices%20are%20used%20explicitly%2C%20access%20a%20nested-list%20value%20as%20%60data_list%5Bi%5D%5Bj%5D%60.%0A%20%20%20%20Use%20a%20%60with%60%20statement%20and%20context%20manager%20to%20ensure%20that%20the%20file%20is%20closed%20automatically%20after%20the%20block%20finishes.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data_list)%3A%0A%20%20%20%20%23%20create%20a%20new%20list%20and%20overwrite%20all%20values%20%3C%3D%201.0%20with%20nan%0A%20%20%20%20new_data_list%20%3D%20%5B%5D%20%20%0A%20%20%20%20for%20i%20in%20data_list%3A%0A%20%20%20%20%20%20%20%20new_data_list.append(%5B%5D)%0A%20%20%20%20%20%20%20%20for%20j%20in%20i%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20j%20%3C%3D%201.0%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20new_data_list%5B-1%5D.append(%22nan%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20new_data_list%5B-1%5D.append(j)%0A%0A%20%20%20%20print(new_data_list)%0A%20%20%20%20%23%20write%20the%20modified%20new_data_list%20to%20a%20new%20text%20file%0A%20%20%20%20new_file%20%3D%20open(%22data%2Fmodified-data.csv%22%2C%20mode%3D%22w%2B%22)%20%20%23%20lets%20just%20use%20csv%3A%20Python%20does%20not%20care%20about%20the%20file%20ending%20(could%20also%20be%20file.wayne)%0A%20%20%20%20for%20row%20in%20new_data_list%3A%0A%20%20%20%20%20%20%20%20new_line%20%3D%20%22%2C%20%22.join(%5Bstr(e)%20for%20e%20in%20row%5D)%20%2B%20%22%5Cn%22%0A%20%20%20%20%20%20%20%20new_file.write(new_line)%0A%20%20%20%20new_file.close()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Modify%20Existing%20Files%0A%0A%20%20%20%20Existing%20text%20files%20can%20be%20opened%20and%20modified%20in%20either%20%60mode%3D%22r%2B%22%60%20(pretending%20that%20information%20needs%20to%20be%20read%20before%20it%20is%20modified)%20or%20%60mode%3D%22a%2B%22%60.%20Recall%20that%20%60%22r%2B%22%60%20will%20place%20the%20pointer%20at%20the%20beginning%20of%20the%20file%20and%20%60%22a%22%60%20will%20place%20the%20pointer%20at%20the%20end%20of%20the%20file.%20Thus%2C%20if%20we%20want%20to%20modify%20lines%20or%20entries%20of%20an%20existing%20file%2C%20%60%22r%2B%22%60%20is%20the%20good%20choice%20and%20if%20we%20want%20to%20append%20data%20at%20the%20end%20of%20the%20file%2C%20%60%22a%22%60%20is%20the%20good%20choice%20(%60%2B%60%20is%20not%20strictly%20needed%20in%20the%20case%20of%20%60%22a%22%60).%20This%20section%20shows%20two%20examples%3A%20(1)%20modification%20of%20existing%20data%20in%20a%20file%20using%20%60%22r%2B%22%60%2C%20and%20(2)%20appending%20data%20to%20an%20existing%20file%20using%20%60%22a%22%60.%0A%0A%20%20%20%20**Example%201%20-%20Replace%20data%20in%20an%20existing%20file%20with%20%60%22r%2B%22%60%3A**%20In%20the%20previous%20code%20block%2C%20we%20eliminated%20all%20measurements%20that%20were%20smaller%20than%201%20*mm*%20because%20of%20the%20precision%20of%20the%20measurement%20device.%20However%2C%20we%20have%20retained%20all%20other%20values%20with%20two-digit%20accuracy%20-%20an%20accuracy%20that%20is%20not%20given.%20Consequently%2C%20all%20decimal%20places%20in%20the%20measurements%20must%20also%20be%20eliminated.%20To%20achieve%20this%2C%20we%20have%20to%20round%20all%20measured%20values%20with%20Python's%20built-in%20round%20function%20(%60round(number%2C%20n-digits)%60)%20to%20zero%20decimal%20places%20(i.e.%2C%20%60n-digits%20%3D%200%60).%0A%20%20%20%20In%20this%20example%20(featured%20in%20the%20below%20code%20block)%2C%20an%20exception%20%60IOError%60%20is%20raised%20when%20the%20file%20%60%22data%2Fmodified-data.csv%22%60%20does%20not%20exist%20(or%20if%20it%20is%20locked%20by%20another%20software).%20An%20%60if%60%20statement%20ensures%20that%20rounding%20the%20data%20is%20only%20attempted%20if%20the%20file%20exists.%0A%20%20%20%20The%20overwriting%20procedure%20first%20reads%20all%20lines%20of%20the%20file%20into%20the%20%60lines%60%20variable.%20After%20reading%20all%20lines%2C%20the%20pointer%20is%20at%20the%20end%20of%20the%20file%2C%20and%20%60file.seek(0)%60%20puts%20the%20pointer%20back%20to%20position%200%20(i.e.%2C%20at%20the%20beginning%20of%20the%20file).%20%60file.truncate()%60%20purges%20the%20file.%20Thus%2C%20the%20original%20file%20is%20blank%20for%20a%20moment%20and%20all%20file%20contents%20are%20stored%20in%20the%20%60lines%60%20variable.%20Rounding%20the%20data%20happens%20within%20a%20*for-loop*%20that%3A%0A%0A%20%20%20%20*%20Splits%20the%20comma-separated%20line%20*string*%20(produces%20%60lines_as_list%60).%0A%20%20%20%20*%20Creates%20the%20temporary%20list%20%60_numeric_line_%60%2C%20where%20rounded%2C%20numeric%20values%20are%20stored%20(the%20variable%20is%20overwritten%20in%20every%20iteration).%0A%20%20%20%20*%20Loops%20over%20the%20line%20entries%20(%60line_as_list%60)%2C%20where%20an%20exception%20statement%20appends%20rounded%20(to%20zero%20digits)%2C%20numeric%20values%20and%20appends%20%60%22nan%22%60%20when%20an%20entry%20is%20not%20numeric.%0A%20%20%20%20*%20Writes%20the%20modified%20line%20to%20the%20%60%22data%2Fmodified-data.csv%22%60%20*csv*%20file.%0A%0A%20%20%20%20Finally%2C%20the%20*csv*%20is%20closed%20with%20%60modified_file.close()%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20with%20open('data%2Fmodified-data.csv'%2C%20mode%3D'r%2B')%20as%20modified_file%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lines%20%3D%20modified_file.readlines()%0A%20%20%20%20%20%20%20%20%20%20%20%20modified_file.seek(0)%0A%20%20%20%20%20%20%20%20%20%20%20%20modified_file.truncate()%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_line%20in%20lines%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_line_as_list%20%3D%20_line.split('%2C%20')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20numeric_line%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_entry%20in%20_line_as_list%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20numeric_line.append(round(float(_entry)%2C%200))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20except%20ValueError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20numeric_line.append(_entry.strip())%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20modified_file.write('%2C%20'.join((str(entry)%20for%20entry%20in%20numeric_line))%20%2B%20'%5Cn')%0A%20%20%20%20%20%20%20%20print('Processed%20file.')%0A%20%20%20%20except%20OSError%20as%20error%3A%0A%20%20%20%20%20%20%20%20print(f'Could%20not%20process%20the%20file%3A%20%7Berror%7D')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20In%20theory%2C%20the%20above%20code%20block%20can%20be%20re-written%20as%20a%20function%20to%20modify%20any%20data%20in%20a%20file.%20In%20addition%2C%20other%20threshold%20values%20or%20particular%20data%20ranges%20can%20be%20filtered%20using%20%60if%60%20-%20%60else%60%20statements.%0A%0A%20%20%20%20**Example%202%20-%20Append%20data%20to%20an%20existing%20file%20with%20%60%22a%22%60%3A**%20By%20coincidence%2C%20you%20find%20a%20hand-written%20measurement%20protocol%20that%20has%20data%20of%20an%2018th%20experimental%20run%2C%20which%20is%20not%20in%20the%20electronic%20measurement%20data%20file%20due%20to%20a%20data%20transmission%20error.%20Now%2C%20you%20want%20to%20add%20the%20data%20to%20the%20above-produced%20*csv*%20file.%20Entering%20the%20data%20does%20not%20take%20much%20work%2C%20because%20only%204%20measurements%20were%20performed%20per%20experimental%20run%20and%20the%20below%20code%20block%20contains%20the%20hand-written%20data%20in%20a%20list%20variable%20called%20%60forgotten_data%60.%0A%20%20%20%20This%20example%20uses%20the%20%60os%60%20module%20(recall%20%5BPackage%2C%20Modules%20and%20Libraries%5D(https%3A%2F%2Fhydro-informatics.com%2Fjupyter%2Fpypckg.html))%20to%20verify%20if%20the%20data%20file%20exists%20with%20%60os.path.isfile()%60%20(the%20%60os.getcwd()%60%20statement%20is%20a%20gadget%20here).%20The%20code%20block%20features%20the%20usage%20of%20a%20%60with%60%20statement%20(i.e.%2C%20a%20%60with%60%20-%20context%20manager%20or%20name%20space).%0A%0A%20%20%20%20%20%20The%20essential%20part%20of%20the%20code%20that%20writes%20the%20line%20to%20the%20data%20file%20is%20%60file.write(line)%60%2C%20where%20%60line%60%20corresponds%20to%20the%20above-introduced%20%60%22%2C%20%22.join(list-of-strings)%20%2B%20%22%5Cn%22%60%20*string*.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20os%0A%20%20%20%20print(os.getcwd())%0A%20%20%20%20forgotten_data%20%3D%20%5B4.0%2C%203.0%2C%20'nan'%2C%208.0%5D%0A%20%20%20%20if%20os.path.isfile('data%2Fmodified-data.csv')%3A%0A%20%20%20%20%20%20%20%20with%20open('data%2Fmodified-data.csv'%2C%20mode%3D'a')%20as%20_file_object%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_file_object.write('%2C%20'.join(%5Bstr(e)%20for%20e%20in%20forgotten_data%5D)%20%2B%20'%5Cn')%0A%20%20%20%20%20%20%20%20print('Data%20appended.')%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print('The%20file%20does%20not%20exist.')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3E%20**Challenge%3A**%20The%20expression%20%60%22%2C%20%22.join(%5Bstr(e)%20for%20e%20in%20a_list%5D)%20%2B%20'%5Cn'%60%20is%20a%20recurring%20expression%20in%20many%20of%20the%20above-shown%20code%20blocks.%20How%20does%20a%20function%20look%20like%20that%20automatically%20generates%20this%20expression%20for%20lists%20of%20different%20data%20types%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20NumPy%0A%0A%20%20%20%20*NumPy*%20provides%20high-level%20mathematical%20functions%20for%20linear%20algebra%20including%20operations%20on%20multi-dimensional%20arrays%20and%20matrices.%20The%20open-source%20*NumPy*%20(for%20*Numerical%20Python*)%20library%20is%20written%20in%20Python%20and%20%5BC%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FC_(programming_language))%2C%20and%20comes%20with%20comprehensive%20documentation%20(%5Bdownload%20the%20latest%20version%20on%20the%20developer's%20web%20site%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2F)%20or%20%5Bread%20the%20developer's%20online%20tutorial%5D(https%3A%2F%2Fnumpy.org%2Fdevdocs%2Fuser%2Fquickstart.html)).%0A%0A%20%20%20%20%23%23%20Installation%0A%0A%20%20%20%20*NumPy*%20can%20be%20installed%20through%20*Anaconda*%20(%5Brecall%20instructions%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyinstall.html%23install-additional-python-packages))%20and%20the%20developers%20recommend%20using%20a%20scientific%20Python%20distribution%20(*Anaconda*)%20with%20%5B*SciPy%20Stack*%5D(https%3A%2F%2Fscipy.org%2Finstall%2F).%0A%0A%20%20%20%20The%20provided%20*Anaconda*%20%5Benvironment.yml%20(%60flussenv%60)%5D(https%3A%2F%2Fraw.githubusercontent.com%2FEcohydraulics%2Fflusstools-pckg%2Fmain%2Fenvironment.yml)%20already%20includes%20*NumPy*%20(more%20information%20in%20the%20%5Bconda%20installation%20section%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyinstall.html%23conda-env)).%20Similarly%2C%20Linux%20users%20will%20have%20*NumPy*%20installed%20in%20a%20virtual%20environment%20(e.g.%2C%20%60vflussenv%60)%20with%20*pip*%20(recall%20%5Bpip-installing%20flusstools%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyinstall.html%23quick-guide)).%20Otherwise%2C%20to%20install%20*NumPy*%20in%20any%20other%20*conda*%20environment%2C%20open%20*Anaconda%20Prompt*%20(*Start*%20%3E%20type%20*Anaconda%20Prompt*)%20and%20type%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20conda%20activate%20ENVIRONMENT-NAME%0A%20%20%20%20conda%20install%20numpy%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20To%20pip-install%20*NumPy*%20in%20any%20other%20virtual%20environment%20tap%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20pip%20install%20numpy%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Usage%0A%0A%20%20%20%20The%20NumPy%20library%20is%20typically%20imported%20with%20%60import%20numpy%20as%20np%60.%20Create%20a%20NumPy%20array%20with%20%60np.array(values)%60%2C%20where%20%60values%60%20is%20array-like%20input%20such%20as%20a%20list%20or%20tuple.%20Nested%20sequences%20can%20be%20used%20to%20create%20multidimensional%20arrays%3B%20for%20example%2C%20%60np.array(%5B%5B1%2C%202%2C%203%5D%2C%20%5B4%2C%205%2C%206%5D%5D)%60%20creates%20an%20array%20with%20two%20rows%20and%20three%20columns.%0A%0A%20%20%20%20%3E%20**Note%3A**%20This%20section%20provides%20insights%20into%20basic%20*NumPy*%20functions%20and%20it%20does%20not%20(rather%3A%20cannot)%20cover%20all%20*NumPy*%20functions%20and%20data%20types.%20Generally%20speaking%2C%20be%20sure%20that%20whatever%20mathematical%20operation%20you%20want%20to%20perform%2C%20*NumPy*%20offers%20a%20solution.%20Check%20out%20the%20%5B*NumPy*%20documentation%5D(https%3A%2F%2Fnumpy.org%2Fdevdocs%2Fuser%2Fquickstart.html)%2C%20%5Bhave%20a%20look%20at%20*NumPy*'s%20built-in%20functions%20and%20methods%20overview%5D(https%3A%2F%2Fnumpy.org%2Fdevdocs%2Fuser%2Fquickstart.html%23functions-and-methods-overview)%2C%20or%20use%20your%20favorite%20search%20engine%20with%20the%20search%20words%20**numpy**%20***FUNCTION***.%0A%0A%20%20%20%20The%20following%20code%20block%20shows%20very%20basic%20usage%20of%20*NumPy*%20(or%3A%20numpy)%20imported%20as%20%60np%60%20and%20the%20creation%20of%20a%20*2x3*%20numpy%20array.%20The%20rounded%20parentheses%20indicated%20that%20the%20value%20sequence%20of%20the%20%60np.array%60%20represents%20a%20tuple%20for%20creating%20a%20multi-dimensional%20array.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20an_array%20%3D%20np.array((%5B2%2C%203%2C%201%5D%2C%20%5B4%2C%205%2C%206%5D))%0A%20%20%20%20print(an_array)%0A%20%20%20%20return%20an_array%2C%20np%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20*NumPy*%20arrays%20(data%20type%3A%20*ndarray*)%20have%20many%20built-in%20features%2C%20for%20example%20to%20output%20the%20array%20size%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(an_array)%3A%0A%20%20%20%20print(type(an_array))%0A%20%20%20%20print(%22Array%20dimensions%3A%20%22%20%2B%20str(an_array.shape))%0A%20%20%20%20print(%22Total%20number%20of%20array%20elements%3A%20%22%20%2B%20str(an_array.size))%0A%20%20%20%20print(%22Number%20of%20array%20axes%3A%20%22%20%2B%20str(an_array.ndim))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20There%20are%20many%20types%20of%20%60np.array%60s%20and%20many%20ways%20to%20create%20them%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20print(np.array(%5B(2%2C%203%2C%201)%2C%20(4%2C%205%2C%206)%5D))%20%20%23%20the%20same%20as%20an_array%0A%20%20%20%20print(np.array(%5B%5B2%2C%203%2C%201%5D%2C%20%5B4%2C%205%2C%206%5D%5D%2C%20dtype%3Dcomplex))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Arrays%20of%20zeros%20or%20ones%20or%20empty%20arrays%20can%20be%20created%20with%20*integer*%20or%20*float*%20data%20types.%20When%20creating%20such%20arrays%2C%20be%20aware%20of%20using%20tuples%20(i.e.%2C%20sequences%20embraced%20with%20rounded%20parentheses)%20to%20define%20array%20dimensions%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20print(np.zeros((2%2C6)))%0A%20%20%20%20print(np.ones((2%2C6)%2C%20dtype%3Dnp.float64))%20%20%23%20other%20dtypes%3A%20int16%2C%20np.int16%2C%20float%2C%20np.float32%2C%20np.complex64%0A%20%20%20%20print(np.empty((2%2C6)))%0A%20%20%20%20print(np.empty((2%2C6)%2C%20dtype%3Dnp.int16))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60np.empty(shape)%60%20allocates%20an%20array%20without%20initializing%20its%20entries.%20Any%20displayed%20values%20are%20arbitrary%20remnants%20of%20memory%20and%20may%20differ%20between%20runs.%20Fill%20every%20entry%20before%20reading%20or%20using%20the%20array%3B%20use%20%60np.zeros(shape)%60%20or%20%60np.ones(shape)%60%20when%20initialized%20values%20are%20required.%0A%0A%20%20%20%20%3E%20**Data%20type%20sizes%3A**%20*NumPy*%20data%20types%20have%20different%20sizes%20(in%20%5Bbytes%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FByte))%20and%20the%20more%20digits%2C%20the%20larger%20the%20variable%20size.%20For%20example%2C%20%60np.float64%60%20has%20an%20item%20size%20of%208%20bytes%20(64%2F8)%2C%20while%20%60np.float32%60%20has%20an%20item%20size%20of%204%20bytes%20(32%2F8)%20only.%20Use%20%60ndarray.itemsize%60%20(e.g.%2C%20%60an_array.itemsize%60)%20to%20find%20out%20the%20size%20of%20an%20array%20in%20bytes.%20For%20analyses%20of%20large%20datasets%2C%20the%20data%20type%20gets%20very%20important%20regarding%20computation%20speed%20and%20storage.%0A%0A%20%20%20%20*NumPy*%20provides%20the%20%60arange(start%2C%20end%2C%20step-size)%60%20function%20to%20create%20numeric%20sequences.%20Such%20sequences%20represent%20arrays%20(%60ndarray%60)%20that%20can%20later%20be%20reshaped%20(i.e.%2C%20re-organized%20in%20columns%20and%20rows).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20print(%221D%20array%3A%22)%0A%20%20%20%20print(np.arange(0%2C%2010%2C%202))%20%20%23%201D%20array%0A%20%20%20%20print(%22%5Cn2D%20array%3A%22)%0A%20%20%20%20print(np.arange(0%2C%2012%2C%202).reshape(2%2C%203))%20%20%23%202D%20array%0A%20%20%20%20print(%22%5Cn3D%20array%3A%22)%0A%20%20%20%20print(np.arange(1%2C%2013%2C%201).reshape(2%2C%202%2C%203))%20%20%23%203D%20array%0A%20%20%20%20print(%22%5Cn1D%20Linspace%20(start%2C%20end%2C%20number-of-elements)%3A%22)%0A%20%20%20%20print(np.linspace(0%2C%20np.pi%2C%203))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Random%20numbers%20can%20be%20generated%20with%20*NumPy*'s%20random%20number%20generator%20%60np.random%60%20and%20its%20%60.random(range_tuple)%60%20function.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20rand_array%20%3D%20np.random.random((2%2C4))%0A%20%20%20%20print(rand_array)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Built-in%20array%20functions%20enable%20finding%20minimum%20or%20maximum%20values%2C%20or%20sums%20of%20arrays%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(an_array%2C%20np)%3A%0A%20%20%20%20print(%22Sum%20of%2012-elements%20ones-array%3A%20%22%20%2B%20str(np.ones((2%2C6)).sum()))%0A%20%20%20%20print(%22Minimum%3A%20%22%20%2B%20str(an_array.min()))%0A%20%20%20%20print(%22Maximum%3A%20%22%20%2B%20str(an_array.max()))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Color%20Arrays%0A%0A%20%20%20%20Arrays%20may%20also%20contain%20color%20information%2C%20where%20colors%20represent%20a%20mix%20of%20the%20three%20base%20colors%20red%2C%20green%2C%20and%20blue%20(**RGB**).%20Thus%2C%20one%20color%20can%20be%20defined%20as%20%60%5Bred-value%2C%20green-value%2C%20blue-value%5D%60%2C%20and%20a%20value%20of%20%600%60%20means%20that%20a%20color%20tone%20is%20not%20present%2C%20while%20%60255%60%20is%20its%20**maximum**%20value.%20There%20is%20no%20color%20when%20all%20color%20tone%20values%20are%20zero%2C%20which%20corresponds%20to%20*black*%3B%20when%20all%20color%20tones%20are%20maximum%20(255)%2C%20the%20color%20mix%20corresponds%20to%20*white*.%20This%20way%2C%20array%20elements%20can%20be%20lists%20of%20color%20tones%2C%20and%20plotting%20such%20arrays%20produces%20images.%20The%20following%20example%20produces%20an%20array%20with%205%20color-list%20elements%2C%20which%20could%20be%20plotted%20as%20a%20very%20basic%20image%20with%205%20pixels%20(one%20black%2C%20red%2C%20green%2C%20blue%2C%20and%20white%2C%20respectively)%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20color_set%20%3D%20np.array(%5B%5B0%2C%200%2C%200%5D%2C%20%20%20%20%20%20%20%20%20%23%20black%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B255%2C%200%2C%200%5D%2C%20%20%20%20%20%20%20%23%20red%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0%2C%20255%2C%200%5D%2C%20%20%20%20%20%20%20%23%20green%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0%2C%200%2C%20255%5D%2C%20%20%20%20%20%20%20%23%20blue%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B255%2C%20255%2C%20255%5D%5D)%20%20%23%20white%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Array%20(Matrix)%20Operations%0A%0A%20%20%20%20Array%20calculations%20(matrix%20operations)%20follow%20the%20rules%20of%20linear%20algebra%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20A%20%3D%20np.random.random((2%2C4))%0A%20%20%20%20B%20%3D%20np.random.random((4%2C2))%0A%20%20%20%20print(%22Subtraction%3A%20%22%20%2B%20str(A.transpose()%20-%20B))%0A%20%20%20%20print(%22Element-wise%20product%3A%20%22%20%2B%20str(A.transpose()%20*%20B))%0A%20%20%20%20print(%22Matrix%20product%20(option%201)%3A%20%22%20%2B%20str(A%20%40%20B))%0A%20%20%20%20print(%22Matrix%20product%20(option%202)%3A%20%22%20%2B%20str(A.dot(B)))%0A%20%20%20%20return%20A%2C%20B%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Further%20element-wise%20calculations%20include%20exponential%20(%60**%60)%2C%20geometric%20(%60np.sin%60%2C%20%60np.cos%60%2C%20%60np.tan%60%2C%20etc.)%2C%20and%20boolean%20operators%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20np)%3A%0A%20%20%20%20print(%22A%20to%20the%20power%20of%203%3A%20%22%20%2B%20str(A**3))%0A%20%20%20%20print(%22Exponential%3A%20%22%20%2B%20str(np.exp(A)))%0A%20%20%20%20print(%22Square%20root%3A%20%22%20%2B%20str(np.sqrt(A)))%0A%20%20%20%20print(%22Sine%20of%20A%20times%203%3A%20%22%20%2B%20str(np.sin(A)%20*%203))%0A%20%20%20%20print(%22Boolean%20where%20A%20is%20smaller%20than%200.3%3A%20%22%20%2B%20str(A%20%3C%200.3))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Array%20Shape%20Manipulation%0A%0A%20%20%20%20Sometimes%20it%20is%20necessary%20to%20stack%20a%20multi-dimensional%20array%20into%20a%20vector%20or%20recast%20the%20shape%20of%20an%20array.%20Beyond%20the%20%60reshape()%60%20function%2C%20there%20are%20a%20couple%20of%20other%20options%20to%20manipulate%20the%20shape%20of%20an%20array%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(A%2C%20B%2C%20np)%3A%0A%20%20%20%20print(%22Flattened%20matrix%20A%20(into%20a%20vector)%3A%5Cn%22%20%2B%20str(A.ravel()))%0A%20%20%20%20print(%22%5CnTranspose%20matrix%20A%20and%20append%20B%3A%5Cn%22%20%2B%20str(np.array(%5BA.transpose()%2C%20B%5D)))%0A%20%20%20%20print(%22%5CnTranspose%20matrix%20A%20and%20append%20B%20and%20cast%20into%20a%20(4x4)%20array%3A%5Cn%22%20%2B%20str(np.array(%5BA.transpose()%2C%20B%5D).reshape(4%2C4)))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20*NumPy*%20File%20Handling%20and%20%60np.nan%60%0A%0A%20%20%20%20In%20the%20above%20examples%20on%20file%20handling%2C%20measurement%20data%20were%20loaded%20from%20text%20files%2C%20manipulated%20(modified)%2C%20and%20(re-)written.%20The%20data%20manipulation%20involved%20the%20introduction%20of%20%60%22nan%22%60%20(*not-a-number*)%20values%2C%20which%20were%20excluded%20because%20measurements%20%3C1%20mm%20were%20considered%20errors.%20Why%20didn't%20we%20use%20zeros%20here%3F%20Zeros%20are%20numbers%2C%20too%2C%20and%20have%20a%20significant%20effect%20on%20data%20statistics%20(e.g.%2C%20for%20calculating%20mean%20values).%20However%2C%20the%20%60%22nan%22%60%20*string*%20value%20may%20cause%20difficulties%20in%20data%20handling%2C%20in%20particular%20regarding%20the%20consistency%20of%20function%20output.%20*NumPy*%20provides%20with%20the%20%60np.nan%60%20data%20type%20a%20powerful%20alternative%20to%20the%20tedious%20%60%22nan%22%60%20*string*.%0A%0A%20%20%20%20*NumPy*%20also%20has%20a%20text%20file%20load%20function%20called%20%60np.loadtxt(file-name%2C%20*args%2C%20**kwargs)%60%2C%20which%20imports%20text%20files%20as%20%60np.array%60s%20of%20*float*%20values.%20The%20default%20*float*%20value%20type%20can%20be%20adapted%20with%20the%20optional%20keyword%20%60dtype%60.%20Other%20optional%20keyword%20arguments%20are%3A%0A%0A%20%20%20%20*%20%60delimiter%3DSTR%60%20(e.g.%2C%20%60delimiter%3D'%3B'%60)%2C%20where%20the%20default%20is%20%60%22None%22%60%0A%20%20%20%20*%20%60usecols%3DTUPLE%60%20(e.g.%2C%20%60usecols%3D(1%2C%203)%60%20extracts%20the%202%3Csup%3End%3C%2Fsup%3E%20and%204%3Csup%3Eth%3C%2Fsup%3E%20column)%2C%20where%20also%20one%20*integer*%20value%20is%20possible%20to%20read%20just%20on%20single%20column%0A%20%20%20%20*%20%60skiprows%3DINT%60%20(e.g.%2C%20%60skiprows%3D2%60%20skips%20the%20first%20two%20lines)%2C%20where%20the%20default%20is%20%600%60%0A%20%20%20%20*%20more%20arguments%20are%20available%20and%20listed%20in%20the%20%5B*NumPy*%20documentation%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.loadtxt.html).%0A%0A%20%20%20%20The%20following%20example%20loads%20the%20above-created%20*csv*%20file%20*data%2Fmodified-data.csv*%20containing%20*integer*%20and%20%60%22nan%22%60%20*string*%20values%2C%20which%20are%20automatically%20converted%20to%20%60np.nan%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20experiment_data%20%3D%20np.loadtxt(%22data%2Fmodified-data.csv%22%2C%20delimiter%3D%22%2C%22)%0A%20%20%20%20print(%22This%20is%20the%20data%204th%20line%20(row)%3A%20%22%20%2B%20str(experiment_data%5B3%2C%20%3A%5D))%0A%20%20%20%20print(%22The%20data%20type%20of%20the%203rd%20(%25s)%20entry%20is%3A%20%22%20%25%20str(experiment_data%5B3%2C%202%5D)%20%2B%20str(type(experiment_data%5B3%2C%202%5D)))%0A%20%20%20%20return%20(experiment_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20In%20addition%2C%20or%20as%20an%20alternative%2C%20the%20function%20%60np.load()%60%20picks%20up%20data%20from%20file-like%20%60.npz%60%2C%20%60.npy%60%2C%20or%20pickled%20(saved%20Python%20objects)%20data%20sources%20(more%20information%20is%20available%20in%20the%20%5B*NumPy*%20docs%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.load.html%23numpy.load)).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Statistics%0A%20%20%20%20The%20above%20examples%20featured%20array%20functions%20to%20assess%20basic%20array%20statistics%20such%20as%20the%20minimum%20and%20maximum.%20*NumPy*%20provides%20many%20more%20functions%20for%20array%20statistics%20such%20as%20the%20mean%2C%20median%2C%20or%20standard%20deviation%2C%20including%20functions%20that%20account%20for%20%60np.nan%60%20values.%20The%20following%20example%20illustrates%20some%20of%20the%20statistical%20functions%20with%20the%20experimental%20data%20from%20the%20above%20examples.%20Note%20the%20usage%20of%20%60nanmean%60%20instead%20of%20%60mean%60%20and%20statistics%20along%20array%20axis%2C%20where%20the%20optional%20keyword%20argument%20%60axis%3D0%60%20corresponds%20to%20columns%20and%20%60axis%3D1%60%20to%20statistics%20along%20rows%20in%202-dimensional%20arrays%20(maximum%20axis%20number%20corresponds%20to%20the%20array%20dimensions%20*n*%20minus%201%2C%20i.e.%2C%20maximum%20%60axis%3Dn-1%60).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(experiment_data%2C%20np)%3A%0A%20%20%20%20print(%22Mean%20value%20(without%20nan)%3A%20%22%20%2B%20str(np.mean(experiment_data)))%20%20%23%20no%20applicable%20result%0A%20%20%20%20print(%22Mean%20value%20with%20np.nan%3A%20%22%20%2B%20str(np.nanmean(experiment_data)))%20%0A%20%20%20%20print(%22Mean%20value%20along%20axis%200%20(columns)%3A%20%22%20%2B%20str(np.nanmean(experiment_data%2C%20axis%3D0)))%20%0A%20%20%20%20print(%22Mean%20value%20along%20axis%201%20(rows)%3A%20%22%20%2B%20str(np.nanmean(experiment_data%2C%20axis%3D1)))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20following%20paragraphs%20represent%20a%20tabular%20overview%20of%20statistical%20functions%20in%20*NumPy*%20(source%3A%20*NumPy*%20docs).%20The%20listed%20functions%20only%20represent%20the%20baseline%20and%20*NumPy*%20provides%20many%20more%20options%2C%20which%20can%20be%20leveraged%20using%20any%20search%20engine%20with%20*NumPy*%20and%20the%20desired%20function%20as%20a%20search%20keyword.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20***%0A%0A%20%20%20%20Basic%20statistic%20functions%0A%0A%20%20%20%20%7C%20Function%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Description%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C---------------------------------------%7C---------------------------------------------------------------------------------------------%7C%0A%20%20%20%20%7C%20%5B%60nanmin(a%5B%2C%20axis%2C%20out%2C%20keepdims%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.nanmin.html%23numpy.nanmin)%20%20%20%20%20%20%7C%20Minimum%20of%20an%20array%20or%20along%20an%20axis%2C%20ignoring%20%60np.nan%60.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60nanmax(a%5B%2C%20axis%2C%20out%2C%20keepdims%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.nanmax.html%23numpy.nanmax)%20%20%20%20%20%20%7C%20Maximum%20of%20an%20array%20or%20along%20an%20axis%2C%20ignoring%20%60np.nan%60.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60ptp(a%5B%2C%20axis%2C%20out%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.ptp.html%23numpy.ptp)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Range%20of%20values%20(max%20-%20min)%20along%20an%20axis.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60percentile(a%2C%20q%5B%2C%20axis%2C%20out%2C%20...%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.percentile.html%23numpy.percentile)%20%20%20%20%7C%20q-th%20percentile%20of%20data%20along%20a%20specified%20axis.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60nanpercentile(a%2C%20q%5B%2C%20axis%2C%20out%2C%20...%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.nanpercentile.html%23numpy.nanpercentile)%20%7C%20q-th%20percentile%20of%20data%20along%20a%20specified%20axis%2C%20ignoring%20%60np.nan%60.%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20***%0A%0A%20%20%20%20Mean%20(average)%2C%20standard%20deviation%2C%20and%20variances%0A%0A%20%20%20%20%7C%20Function%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Description%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C---------------------------------------------------%7C-------------------------------------------------------------------------------%7C%0A%20%20%20%20%7C%20%5B%60median(a%5B%2C%20axis%2C%20out%2C%20overwrite_input%2C%20keepdims%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.median.html%23numpy.median)%20%7C%20Median%20along%20an%20(optional)%20axis.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60average(a%5B%2C%20axis%2C%20weights%2C%20returned%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.average.html%23numpy.average)%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Weighted%20average%20along%20an%20(optional)%20axis.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60mean(a%5B%2C%20axis%2C%20dtype%2C%20out%2C%20keepdims%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.mean.html%23numpy.mean)%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Arithmetic%20mean%20along%20an%20(optional)%20axis.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60std(a%5B%2C%20axis%2C%20dtype%2C%20out%2C%20ddof%2C%20keepdims%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.std.html%23numpy.std)%20%20%20%20%20%20%20%20%7C%20Standard%20deviation%20along%20an%20(optional)%20axis.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60var(a%5B%2C%20axis%2C%20dtype%2C%20out%2C%20ddof%2C%20keepdims%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.var.html%23numpy.var)%20%20%20%20%20%20%20%20%7C%20Variance%20along%20an%20(optional)%20axis.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60nanmedian(a%5B%2C%20axis%2C%20out%2C%20overwrite_input%2C%20...%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.nanmedian.html%23numpy.nanmedian)%20%20%20%7C%20Median%20along%20an%20(optional)%20axis%2C%20ignoring%20%60np.nan%60.%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60nanmean(a%5B%2C%20axis%2C%20dtype%2C%20out%2C%20keepdims%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.nanmean.html%23numpy.nanmean)%20%20%20%20%20%20%20%20%20%20%7C%20Arithmetic%20mean%20along%20an%20(optional)%20axis%2C%20ignoring%20%60np.nan%60.%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60nanstd(a%5B%2C%20axis%2C%20dtype%2C%20out%2C%20ddof%2C%20keepdims%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.nanstd.html%23numpy.nanstd)%20%20%20%20%20%7C%20Standard%20deviation%20along%20an%20(optional)%20axis%2C%20while%20ignoring%20%60np.nan%60.%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20***%0A%0A%20%20%20%20Correlating%20data%20(arrays)%0A%0A%20%20%20%20%7C%20Function%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Description%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C------------------------------------------------%7C---------------------------------------------------------%7C%0A%20%20%20%20%7C%20%5B%60corrcoef(x%5B%2C%20y%2C%20rowvar%2C%20bias%2C%20ddof%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.corrcoef.html%23numpy.corrcoef)%20%20%20%20%20%20%20%20%20%20%20%7C%20Pearson%20(product-moment)%20correlation%20coefficients.%20%7C%0A%20%20%20%20%7C%20%5B%60correlate(a%2C%20v%5B%2C%20mode%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.correlate.html%23numpy.correlate)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Cross-correlation%20of%20two%201-dimensional%20sequences.%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60cov(m%5B%2C%20y%2C%20rowvar%2C%20bias%2C%20ddof%2C%20fweights%2C%20...%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.cov.html%23numpy.cov)%20%7C%20Estimate%20covariance%20matrix%2C%20based%20on%20data%20and%20weights.%20%20%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20***%0A%0A%20%20%20%20Generate%20and%20plot%20histograms%0A%0A%20%20%20%20%7C%20Function%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Description%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C---------------------------------------------------%7C----------------------------------------------------------------------------%7C%0A%20%20%20%20%7C%20%5B%60histogram(a%5B%2C%20bins%2C%20range%2C%20normed%2C%20weights%2C%20...%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.histogram.html%23numpy.histogram)%20%7C%20Histogram%20of%20a%20set%20of%20data.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60histogram2d(x%2C%20y%5B%2C%20bins%2C%20range%2C%20normed%2C%20weights%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.histogram2d.html%23numpy.histogram2d)%20%7C%20Bi-dimensional%20histogram%20of%20two%20data%20samples.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60histogramdd(sample%5B%2C%20bins%2C%20range%2C%20normed%2C%20...%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.histogramdd.html%23numpy.histogramdd)%20%20%20%7C%20Multidimensional%20histogram%20of%20some%20data.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60bincount(x%5B%2C%20weights%2C%20minlength%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.bincount.html%23numpy.bincount)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Count%20number%20of%20occurrences%20of%20each%20value%20in%20array%20of%20non-negative%20ints.%20%20%20%7C%0A%20%20%20%20%7C%20%5B%60digitize(x%2C%20bins%5B%2C%20right%5D)%60%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Fgenerated%2Fnumpy.digitize.html%23numpy.digitize)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Indices%20of%20the%20bins%20to%20which%20each%20value%20in%20input%20array%20belongs.%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Can%20*NumPy*%20do%20*MATLAB*%26reg%3B%3F%0A%0A%20%20%20%20Are%20you%20considering%20switching%20to%20Python%20after%20starting%20softly%20into%20programming%20with%20*MATLAB%26reg%3B*-like%20software%3F%20There%20are%20many%20reasons%20for%20enhancing%20data%20analyses%20with%20Python%20and%20here%20are%20some%20facilitators%20for%20previous%20*MATLAB%26reg%3B*%20users%3A%0A%0A%20%20%20%20*%20*MATLAB%26reg%3B*%20matrices%20can%20be%20loaded%20and%20saved%20with%20%5B%60scipy.io.loadmat(matrix-file-name)%60%5D(https%3A%2F%2Fdocs.scipy.org%2Fdoc%2Fscipy%2Freference%2Fgenerated%2Fscipy.io.loadmat.html%23scipy.io.loadmat)%20(use%20%60import%20scipy%60).%0A%20%20%20%20*%20*NumPy*'s%20%60np.array%60%20replaces%20*MATLAB%26reg%3B*'s%20matrix%20notation%20(even%20though%20there%20is%20the%20historic%2C%20deprecated%20*NumPy*%20data%20type%20%60np.matrix%60).%0A%20%20%20%20*%20Import%20many%20*MATLAB%26reg%3B*%20features%20from%20%60np.matlib%60%20(e.g.%2C%20%60from%20numpy.matlib%20import%20rand%2C%20zeros%2C%20ones%2C%20empty%2C%20eye)%60%20or%20more%20generally%20%60import%20numpy.matlib%20as%20M%60).%0A%20%20%20%20*%20Find%20the%20*NumPy*%20equivalent%20of%20many%20*MATLAB%26reg%3B*%20function%20in%20the%20%5B*NumPy*%20documentation%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Fuser%2Fnumpy-for-matlab-users.html%23table-of-rough-matlab-numpy-equivalents).%0A%20%20%20%20*%20To%20emulate%20*MATLAB%26reg%3B*'s%20plot%20functions%20use%20the%20%60pylab%60%20package%20and%20import%20it%20as%20%60from%20pylab%20import%20*%60.%20%3Cbr%3E%26%239888%3B%20This%20overwrites%20all%20other%20(standard)%20definitions%20of%20the%20%60plot()%60%20function%20and%20%60array()%60%20objects.%20So%20this%20usage%20is%20deprecated.%20%5BRead%20the%20plotting%20section%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyplot)%20for%20comprehensive%20plotting%20instructions%20with%20Python.%0A%0A%20%20%20%20*MATLAB%26reg%3B%20is%20a%20registered%20trademark%20of%20The%20MathWorks.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3E%20**Exercise%3A**%20Practice%20*numpy*%20and%20*csv*%20file%20handling%20in%20the%20%5BReservoir%20design%5D(https%3A%2F%2Fhydro-informatics.com%2Fexercises%2Fex-sp)%20exercise.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Pandas%0A%0A%20%20%20%20*pandas*%20is%20a%20powerful%20library%20for%20data%20analyses%20and%20manipulation%20with%20Python.%20It%20can%20handle%20*NumPy*%20arrays%2C%20and%20both%20packages%20jointly%20represent%20a%20powerful%20data%20processing%20engine.%20The%20power%20of%20*pandas*%20lies%20in%20processing%20data%20frames%2C%20data%20labeling%20(e.g.%2C%20workbook-like%20column%20names)%2C%20and%20flexible%20file%20handling%20functions%20(e.g.%2C%20the%20built-in%20%60read_csv(csv-file)%60%20function).%20While%20*NumPy*%20arrays%20enable%20calculations%20with%20multidimensional%20arrays%20(beyond%202-dimensional%20tables)%20and%20low%20memory%20consumption%2C%20*pandas*%20%60DataFrame%60s%20efficiently%20process%20and%20label%20tabular%20data%20with%20more%20than%20~100%2C000%20rows.%20Because%20of%20its%20labelling%20capacity%2C%20*pandas*%20also%20finds%20broad%20application%20in%20machine%20learning.%20In%20summary%2C%20*pandas*'%20functionality%20builds%20on%20top%20of%20*NumPy*%20and%20both%20libraries%20are%20maintained%20by%20the%20%5B*SciPy*%5D(https%3A%2F%2Fwww.scipy.org%2F)%20(*Scientific%20computing%20tools%20for%20Python*)%20community%20that%20also%20produces%20%60matplotlib%60%20(see%20%5Bthe%20plotting%20section%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyplot)%20and%20*IPython*%20(*Jupyter*'s%20*Python*%20kernel).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Installation%0A%0A%20%20%20%20*pandas*%20can%20be%20installed%20through%20*Anaconda*%20(%5Brecall%20instructions%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyinstall.html%23install-additional-python-packages))%20and%20the%20developers%20recommend%20using%20a%20scientific%20Python%20distribution%20(*Anaconda*)%20with%20%5B*SciPy%20Stack*%5D(https%3A%2F%2Fscipy.org%2Finstall%2F).%0A%0A%20%20%20%20The%20provided%20*Anaconda*%20%5Benvironment.yml%20(%60flussenv%60)%5D(https%3A%2F%2Fraw.githubusercontent.com%2FEcohydraulics%2Fflusstools-pckg%2Fmain%2Fenvironment.yml)%20already%20includes%20*pandas*%20(more%20information%20in%20the%20%5Bconda%20installation%20section%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyinstall.html%23conda-env)).%20Similarly%2C%20Linux%20users%20will%20have%20*pandas*%20installed%20in%20a%20virtual%20environment%20(e.g.%2C%20%60vflussenv%60)%20with%20*pip*%20(recall%20%5Bpip-installing%20flusstools%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpyinstall.html%23quick-guide)).%20Otherwise%2C%20to%20install%20*pandas*%20in%20any%20other%20*conda*%20environment%2C%20open%20*Anaconda%20Prompt*%20(*Start*%20%3E%20type%20*Anaconda%20Prompt*)%20and%20type%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20conda%20activate%20ENVIRONMENT-NAME%0A%20%20%20%20conda%20install%20pandas%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20To%20pip-install%20*pandas*%20in%20any%20other%20virtual%20environment%20tap%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20pip%20install%20pandas%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Usage%0A%0A%20%20%20%20*pandas*%20standard%20import%20alias%20is%20%60pd%60%3A%20%60import%20pandas%20as%20pd%60.%20The%20following%20sections%20provide%20an%20overview%20of%20basic%20*pandas*%20functions%20and%20many%20more%20features%20are%20documented%20in%20the%20%5Bdeveloper's%20docs%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Findex.html).%0A%0A%20%20%20%20%23%23%20Data%20frames%20%26%20Series%0A%20%20%20%20The%20below%20code%20block%20illustrates%20one%20way%20to%20create%20a%20*pandas*%20data%20frame%20(%60pd.DataFrame%60)%2C%20one%20of%20*pandas*%20core%20objects.%20Note%20the%20difference%20between%20a%201-dimensional%20series%20%60pd.Series%60%20(corresponds%20to%20a%20one-column%20data%20frame)%2C%20and%20an%20n-dimensional%20data%20frame%20with%20**row%20(%3Dindex)**%20and%20column%20names.%20The%20default%20row%20names%20number%20rows%20starting%20from%200%20(unlike%20Office%20software%20that%20starts%20at%20row%20no.%201)%2C%20without%20column%20names.%20Column%20names%20can%20be%20initially%20defined%20as%20a%20%5Blist%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpybase.html%23list)%20and%20replaced%20with%20a%20%5Bdictionary%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpybase.html%23dict)%20that%20maps%20the%20initial%20list%20entries%20to%20new%20names.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20print(%22A%201-column%20pd.DataFrame%3A%5Cn%22%2B%20str(pd.Series(%5B3%2C%204%2C%20np.nan%5D)))%20%20%23%20a%20simple%20pandas%20data%20frame%20with%20one%20column%0A%0A%20%20%20%20row_names%20%3D%20np.arange(1%2C%204%2C%201)%0A%20%20%20%20wb_like_df%20%3D%20pd.DataFrame(np.random.randn(len(row_names)%2C%203)%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20index%3Drow_names%2C%20columns%3D%5B'A'%2C%20'B'%2C%20'C'%5D)%0A%20%20%20%20print(%22%5CnThis%20is%20a%20workbook-like%20(row%20and%20column%20names)%20data%20frame%3A%5Cn%22%20%2B%20str(wb_like_df))%0A%20%20%20%20print(%22%5CnRename%20column%20names%20with%20dictionary%3A%5Cn%22%20%2B%20str(wb_like_df.rename(%0A%20%20%20%20%20%20%20%20%20%20%20%20columns%3D%7B'A'%3A%20'Series%201'%2C%20'B'%3A%20'Series%202'%2C%20'C'%3A%20'Series%203'%7D)))%0A%20%20%20%20print(%22%5CnTranspose%20the%20data%20frame%3A%5Cn%22%20%2B%20str(wb_like_df.T))%0A%20%20%20%20return%20(pd%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20*pandas*%20%60DataFrame%60%20object%20can%20also%20be%20created%20from%20a%20%5Bdictionary%5D(https%3A%2F%2Fhydro-informatics.com%2Fpython-basics%2Fpybase.html%23dict)%2C%20where%20the%20dictionary%20keys%20define%20column%20names%20and%20the%20dictionary%20values%20constitute%20the%20data%20of%20every%20column%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20df%20%3D%20pd.DataFrame(%7B'Flow%20depth'%3A%20pd.Series(np.random.uniform(low%3D0.1%2C%20high%3D0.3%2C%20size%3D(4%2C))%2C%20dtype%3D'float32')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Sediment'%3A%20%5B%22yes%22%2C%20%22no%22%2C%20%22yes%22%2C%20%22no%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Flow%20regime'%3A%20pd.Categorical(%5B%22fluvial%22%2C%20%22fluvial%22%2C%20%22supercritical%22%2C%20%22critical%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Water'%3A%20%22Always%20there%22%7D)%0A%20%20%20%20print(%22A%20dictionary-built%20data%20frame%3A%5Cn%22%20%2B%20str(df))%0A%20%20%20%20print(%22%5CnFrame%20data%20types%3A%5Cn%22%20%2B%20str(df.dtypes))%0A%20%20%20%20return%20(df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Built-in%20attributes%20and%20methods%20of%20a%20*pandas*%20%60DataFrame%60%20enable%20easy%20access%20to%20the%20top%20(head)%20and%20the%20bottom%20of%20a%20data%20frame%20and%20many%20more%20object%20characteristics%20(recall%3A%20use%20%60dir(dict_df)%60%20or%20%5Bread%20the%20developer's%20docs%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Freference%2Fapi%2Fpandas.DataFrame.html))%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20print(%22Head%20of%20the%20dictionary-based%20dataframe%20(first%20two%20rows)%3A%5Cn%22%20%2B%20str(df.head(2)))%0A%20%20%20%20print(%22%5CnEnd%20(tail)%20of%20the%20dictionary-based%20dataframe%20(last%20row)%3A%5Cn%22%20%2B%20str(df.tail(1)))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Example%3A%20Create%20a%20%60pandas.DataFrame%60%20of%20Froude%20Numbers%0A%0A%20%20%20%20In%20hydraulics%2C%20the%20%5B*Froude*%20number%20***Fr***%5D(https%3A%2F%2Fhydro-informatics.com%2Fdocumentation%2Fglossary.html%23term-Froude-number)%20characterizes%20the%20flow%20regime%20as%20%22fluvial%22%20(Fr%3C1)%2C%20%22critical%22%20(Fr%3D1)%2C%20or%20%22super-critical%22%20(Fr%3E1).%20The%20precision%20of%20measurement%20devices%20in%20physical%20flume%20experiments%20makes%20the%20exact%20determination%20of%20the%20*critical*%20moment%20a%20challenge%20and%20forces%20researchers%20to%20apply%20an%20interval%20around%201%2C%20rather%20than%20the%20exact%20value%20of%20%601.0%60%3A%0A%0A%20%20%20%20%7C%20***Fr***%20%7C%20(0.00%2C%200.95(%20%7C%20(0.95%2C%201.00(%20%20%20%20%20%20%20%20%20%20%20%7C%20(1.00)%20%20%20%7C%20)1.00%2C%201.05)%20%20%20%20%20%20%20%20%20%20%20%7C%20)1.05%2C%20inf(%20%20%20%20%7C%0A%20%20%20%20%7C----------%7C--------------%7C------------------------%7C----------%7C------------------------%7C----------------%7C%0A%20%20%20%20%7C%20*Flow*%20%20%20%7C%20fluvial%20%20%20%20%20%20%7C%20near-critical%20(slow)%20%7C%20critical%20%7C%20near-critical%20(fast)%20%7C%20super-critical%20%7C%0A%0A%20%20%20%20%60pd.DataFrame(%20...%20)%60%20objects%20are%20a%20convenient%20way%20to%20classify%20and%20store%20flume%20experiment%20data%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20def%20classify_froude(fr)%3A%0A%20%20%20%20%20%20if%20fr%20%3C%200.95%3A%0A%20%20%20%20%09%20%20return%20%22fluvial%22%0A%20%20%20%20%20%20if%20fr%20%3C%201.0%3A%0A%20%20%20%20%09%20%20return%20%22near-critical%20(slow)%22%0A%20%20%20%20%20%20if%20fr%20%3D%3D%201.0%3A%0A%20%20%20%20%09%20%20return%20%22critical%22%0A%20%20%20%20%20%20if%20fr%20%3C%3D%201.05%3A%0A%20%20%20%20%09%20%20return%20%22near-critical%20(fast)%22%0A%20%20%20%20%20%20return%20%22super-critical%22%0A%0A%20%20%20%20Fr_measured%20%3D%20np.random.uniform(low%3D0.01%2C%20high%3D2.00%2C%20size%3D10)%0A%20%20%20%20Fr_classified%20%3D%20%5Bclassify_froude(fr)%20for%20fr%20in%20Fr_measured%5D%0A%20%20%20%20obs_df%20%3D%20pd.DataFrame(%7B%22measured%22%3A%20Fr_measured%2C%20%22flow%20regime%22%3A%20Fr_classified%7D)%0A%20%20%20%20print(obs_df)%0A%20%20%20%20return%20(obs_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Append%20Data%20to%20a%20%60pandas.DataFrame%60%0A%0A%20%20%20%20Avoid%20repeatedly%20inserting%20rows%20into%20a%20DataFrame.%20Collect%20new%20records%20first%20and%20construct%20a%20DataFrame%20once%2C%20or%20concatenate%20batches%20with%20%60pd.concat()%60.%20Assigning%20a%20complete%20column%20is%20direct%20and%20efficient.%0A%0A%20%20%20%20The%20following%20code%20block%20illustrates%20both%20adding%20a%20row%20and%20a%20column%20to%20an%20existing%20*pandas*%20data%20frame.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(obs_df%2C%20pd)%3A%0A%20%20%20%20import%20random%0A%20%20%20%20new_rows%20%3D%20pd.DataFrame(%7B'measured'%3A%20%5B0.996%5D%2C%20'flow%20regime'%3A%20%5B'near-critical%20(slow)'%5D%7D)%0A%20%20%20%20obs_df_1%20%3D%20pd.concat(%5Bobs_df%2C%20new_rows%5D%2C%20ignore_index%3DTrue)%0A%20%20%20%20obs_df_1%5B'with%20sediment'%5D%20%3D%20%5Bbool(random.getrandbits(1))%20for%20_%20in%20range(len(obs_df_1))%5D%0A%20%20%20%20print(obs_df_1.tail(3))%0A%20%20%20%20return%20(obs_df_1%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20NumPy%20Arrays%20and%20pandas%20Data%20Frames%0A%0A%20%20%20%20A%20NumPy%20array%20has%20one%20data%20type%20(%60dtype%60)%2C%20while%20a%20pandas%20DataFrame%20can%20use%20a%20different%20dtype%20for%20each%20column.%20%60DataFrame.to_numpy()%60%20selects%20a%20common%20dtype%20for%20the%20resulting%20array%20and%20may%20require%20type%20coercion%20or%20a%20copy%2C%20depending%20on%20the%20DataFrame's%20column%20dtypes.%20DataFrame%20index%20and%20column%20labels%20are%20not%20included%20in%20the%20resulting%20array.%20If%20one%20column%20of%20the%20*pandas*%20%60DataFrame%60%20is%20non-numeric%2C%20the%20conversion%20involves%20copying%20the%20object%2C%20which%20then%20causes%20high%20computational%20costs.%20Note%20that%20the%20*index*%20and%20*column*%20labels%20of%20a%20*pandas*%20%60DataFrame%60%20are%20lost%20in%20the%20conversion%20from%20%60pd.DataFrame%60%20to%20%60np.ndarray%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(obs_df_1)%3A%0A%20%20%20%20print(obs_df_1.to_numpy())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Access%20Data%20Frames%20Entries%0A%0A%20%20%20%20Elements%20of%20data%20frames%20are%20accessible%20by%20the%20column%20and%20row%20label%20(%60df.loc%5Bindex%3Drow%2C%20column-label%5D%60)%20or%20number%20(%60df.iloc%60)%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20print(%22Label%20localization%20results%20in%3A%20%22%20%2B%20str(df.loc%5B2%2C%20%22Flow%20depth%22%5D))%0A%20%20%20%20print(%22Same%20result%20with%20integer%20grid%20location%3A%20%22%20%2B%20str(df.iloc%5B2%2C%200%5D))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Reshape%20Data%20Frames%0A%0A%20%20%20%20Single%20or%20multiple%20rows%20(indices)%20and%20columns%20can%20be%20extracted%20from%20and%20combined%20into%20new%20or%20existing%20%60DataFrame%60%20objects%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20pd)%3A%0A%20%20%20%20print(pd.DataFrame(%5Bdf%5B%22Flow%20depth%22%5D%2C%20df%5B%22Sediment%22%5D%5D))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20%60df.stack()%60%20method%20pivots%20the%20columns%20of%20a%20data%20frame%2C%20which%20is%20a%20powerful%20tool%20to%20classify%20data%20that%20can%20take%20different%20dimensions%20(e.g.%2C%20the%20volume%20and%20weight%20of%201%20m%3Csup%3E3%3C%2Fsup%3E%20water%20-%20read%20more%20about%20the%20%5Bstack%20method%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Freference%2Fapi%2Fpandas.DataFrame.stack.html%23pandas.DataFrame.stack)).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20print(df.stack()%5B0%5D)%0A%20%20%20%20df.unstack()%20%20%23%20unstack%20data%20frame%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Big%20datasets%20often%20contain%20large%20amounts%20of%20data%20with%20many%20labels%2C%20but%20we%20are%20often%20only%20interested%20in%20a%20small%20subset%20of%20the%20data.%20To%20this%20end%2C%20data%20frame%20subsets%20can%20be%20created%20with%20%60df.pivot(index%2C%20columns%2C%20**values)%60%20(%5BPivot%20method%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Freference%2Fapi%2Fpandas.DataFrame.pivot.html%23pandas.DataFrame.pivot))%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20print(%22Pivot%20table%20for%20%5C'Flow%20regime%5C'%3A%5Cn%22%20%2B%20str(df.pivot(index%3D%22Sediment%22%2C%20columns%3D%22Flow%20depth%22)%5B%22Flow%20regime%22%5D))%0A%20%20%20%20print(%22%5CnPivot%20table%20for%20%5C'Water%5C'%3A%5Cn%22%20%2B%20str(df.pivot(index%3D%22Sediment%22%2C%20columns%3D%22Flow%20depth%22)%5B%22Water%22%5D))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20In%20addition%2C%20%60df.pivot_table(index%2C%20columns%2C%20values%2C%20aggfunc)%60%20(%5BPivot%20table%20function%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Freference%2Fapi%2Fpandas.DataFrame.pivot_table.html%23pandas.DataFrame.pivot_table))%20enables%20inline%20Office-like%20function%20application%20to%20one%20or%20more%20rows%20and%2For%20columns.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20np)%3A%0A%20%20%20%20print(%22%5C'mean%5C'%20for%20%5C'Flow%20depth%5C'%3A%5Cn%22%20%2B%20str(df.pivot_table(index%3D%22Sediment%22%2C%20columns%3D%22Flow%20regime%22%2C%20values%3D%22Flow%20depth%22%2C%20aggfunc%3Dnp.mean)))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Read%20more%20about%20reshaping%20and%20pivoting%20data%20frames%20in%20the%20%5Bdeveloper's%20docs%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Freshaping.html).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20File%20Handling%20(*csv*%2C%20Workbooks%2C%20and%20More)%0A%0A%20%20%20%20*pandas*%20can%20read%20from%20and%20write%20to%20many%20data%20file%20types%2C%20which%20makes%20it%20extremely%20powerful%20for%20analyzing%20any%20data.%20The%20following%20table%20summarizes%20the%20most%20important%20file%20types%20for%20numerical%20hydraulic%2C%20morphodynamic%2C%20and%20fluvial%20landscape%20analyses%2C%20and%20more%20file%20type%20handlers%20can%20be%20found%20at%20the%20%5Bdeveloper's%20docs%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html).%0A%0A%20%20%20%20%7C%20%20File%20type%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20%20*pandas*%20read%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20%20*pandas*%20write%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Usage%20example%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C-----------------------------------------------------------------------------%7C--------------------------------------------------------------------------------------------------------%7C-------------------------------------------------------------------------------------------------------%7C---------------------------------------------------------------------------------------------------------%7C%0A%20%20%20%20%7C%20%20CSV%20%7C%20%20%5B%60read_csv%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-read-csv-table)%20%20%20%20%20%20%20%7C%20%20%5B%60to_csv%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-store-in-csv)%20%20%20%20%20%20%20%20%20%20%7C%20Reading%20from%20data%20loggers%20(e.g.%2C%20discharge%2C%20flow%20depth)%20%20%20%20%7C%0A%20%20%20%20%7C%20%20Google%20BigQuery%20%20%7C%20%20%5B%60read_gbq%60%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FBigQuery)%7C%20%20%5B%60to_gbq%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-bigquery)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Analyze%20social%20media%20%20%20%7C%0A%20%20%20%20%7C%20%20JSON%20%7C%20%20%5B%60read_json%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-json-reader)%20%20%20%20%20%20%20%20%20%7C%20%20%5B%60to_json%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-json-writer)%20%20%20%20%20%20%20%20%20%20%7C%20Manipulate%20%5BBASEMENT%5D(https%3A%2F%2Fhydro-informatics.com%2Fnumerics%2Fbasement.html)%20model%20files%20%20%20%20%7C%0A%20%20%20%20%7C%20%20HTML%20%7C%20%20%5B%60read_html%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-read-html)%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%5B%60to_html%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-html)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Process%20%20web%20site%20data%20%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%20%5BHDF5%20Format%5D(https%3A%2F%2Fsupport.hdfgroup.org%2FHDF5%2Fdoc1.6%2FUG%2F08_TheFile.html)%20%7C%20%20%5B%60read_hdf%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-hdf5)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%5B%60to_hdf%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-hdf5)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Analyze%20%5BBASEMENT%5D(https%3A%2F%2Fhydro-informatics.com%2Fbasement)%20or%20%5BHEC-RAS%5D(https%3A%2F%2Fwww.mdpi.com%2F2073-4441%2F10%2F10%2F1382)%20output%20files%20%7C%0A%20%20%20%20%7C%20%20Python%20Pickle%20Format%20%7C%20%20%5B%60read_pickle%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-pickle)%20%20%20%20%20%20%20%20%20%20%20%20%7C%20%20%5B%60to_pickle%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-pickle)%20%20%20%20%20%7C%20Cache%20memory%20dump%20%20%20%20%20%20%20%7C%0A%20%20%20%20%7C%20%20SQL%20%20%7C%20%20%5B%60read_sql%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-sql)%20%20%20%20%20%7C%20%20%5B%60to_sql%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Fuser_guide%2Fio.html%23io-sql)%20%20%7C%20Retrieve%20and%20write%20data%20to%20SQL%20data%20bases%20%20%20%20%7C%0A%20%20%20%20%7C%20Workbooks%20(Excel%20%2F%20OpenDocument)%20%7C%20%60read_excel%60%20%7C%20%60to_excel%60%20%7C%20Exchange%20tabular%20data%20with%20spreadsheet%20software%3B%20supported%20formats%20and%20required%20engines%20depend%20on%20the%20file%20extension.%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20following%20code%20block%20illustrates%20how%20the%20above%20produced%20*data%2Fmodified-data.csv*%20file%20can%20be%20loaded%20and%20saved%20to%20a%20workbook%20with%20*pandas*.%20*pandas*%20uses%20%5Bopenpyxl%5D(https%3A%2F%2Fopenpyxl.readthedocs.io)%20by%20default%2C%20but%20this%20usage%20varies%20depending%20on%20the%20workbook%20file%20type%20(e.g.%2C%20%60.ods%60%2C%20%60.xls%60%2C%20and%20%60xlsb%60%20build%20on%20other%20packages%20-%20%5Bread%20more%20about%20the%20%60engine%60%20keyword%5D(https%3A%2F%2Fpandas.pydata.org%2Fdocs%2Freference%2Fapi%2Fpandas.read_excel.html)).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20measurement_data%20%3D%20pd.read_csv(%22data%2Fmodified-data.csv%22%2C%20sep%3D%22%2C%22%2C%20header%3DNone%2C%20names%3D%5B%22Test%201%22%2C%20%22Test%202%22%2C%20%22Test%203%22%2C%20%22Test%204%22%5D)%0A%20%20%20%20print(%22Header%20of%20data%2Fmodified-data.csv%3A%5Cn%22%20%2B%20str(measurement_data.head(3)))%0A%20%20%20%20measurement_data.to_excel(%22data%2Fmodified-data-wb.xlsx%22%2C%20sheet_name%3D%222025-01-01%20Tests%22)%0A%20%20%20%20return%20(measurement_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3E%20pandas%20infers%20each%20column's%20dtype%20from%20its%20values.%20A%20column%20containing%20both%20numbers%20and%20text%20commonly%20has%20an%20%60object%60%20or%20string-related%20dtype%2C%20but%20an%20Excel%20writer%20can%20still%20store%20numeric%20and%20text%20cells%20in%20the%20same%20worksheet%20column.%20Use%20%60np.nan%60%20or%20another%20supported%20missing-value%20marker%20instead%20of%20the%20literal%20string%20%60%22nan%22%60%20when%20missing%20numeric%20data%20should%20remain%20distinguishable%20from%20text.%0A%0A%20%20%20%20A%20*pandas*%20%60ExcelWriter%60%20object%20can%20be%20created%20to%20write%20multiple%20%60pd.DataFrame%60%20objects%20to%20a%20workbook%2C%20on%20one%20or%20more%20sheets.%20Here%20is%20an%20example%2C%20where%20the%20non-numeric%20%60%22nan%22%60%20strings%20are%20replaced%20in%20%60measurement_data%60%20with%20%60np.nan%60%20to%20yield%20a%20purely%20numeric%20data%20frame%20in%20two%20steps%20(%60%23%20(1)%60%20and%20%60%23%20(2)%60)%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20measurement_data%2C%20np%2C%20pd)%3A%0A%20%20%20%20measurement_data_1%20%3D%20measurement_data.replace('nan'%2C%20np.nan%2C%20regex%3DTrue)%20%20%23%20(1)%20replace%20%22nan%22%20with%20np.nan%0A%20%20%20%20measurement_data_1%20%3D%20measurement_data_1.apply(pd.to_numeric)%20%20%23%20(2)%20convert%20all%20data%20to%20numeric%0A%20%20%20%20with%20pd.ExcelWriter('data%2Fmodified-data-wb-EW.xlsx')%20as%20writer%3A%0A%20%20%20%20%23%20write%20workbook%20with%20pd%20ExcelWriter%20object%0A%20%20%20%20%20%20%20%20measurement_data_1.to_excel(writer%2C%20sheet_name%3D'2025-01-01%20Tests')%0A%20%20%20%20%20%20%20%20df.to_excel(writer%2C%20sheet_name%3D'pandas%20example')%0A%20%20%20%20return%20(measurement_data_1%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Categorical%20Data%0A%0A%20%20%20%20*string*%20variables%20that%20represent%20statistically%20relevant%20categories%20are%20the%20baseline%20for%20data%20classification%20and%20statistics.%20*pandas*%20provides%20the%20special%20data%20type%20of%20%60dtype%3D%22category%22%60%20to%20facilitate%20statistical%20analyses.%0A%0A%20%20%20%20In%20the%20above%20Froude-number%20example%2C%20we%20used%20five%20categories%20to%20classify%20the%20flow%20regime%20as%20a%20function%20of%20the%20*Froude%20number*%2C%20which%20can%20serve%20as%20categories.%20This%20is%20useful%2C%20for%20instance%2C%20when%20no%20water%20was%20flowing%20or%20when%20a%20sensor%20broke%20in%20an%20experiment%20and%20we%20want%20to%20categorize%20our%20measurements%20to%20filter%20valid%20tests%20only%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20flow_regimes%20%3D%20%5B%22fluvial%22%2C%20%22near-critical%20(slow)%22%2C%20%22critical%22%2C%20%22near-critical%20(fast)%22%2C%20%22super-critical%22%5D%0A%20%20%20%20observation_examples%20%3D%20%5B%22fluvial%22%2C%20%22dry%22%2C%20%22critical%22%2C%20%22near-critical%20(slow)%22%2C%20%22measurement%20error%22%5D%0A%20%20%20%20Fr_cat%20%3D%20pd.Categorical(observation_examples%2C%20categories%3Dflow_regimes%2C%20ordered%3DFalse)%0A%20%20%20%20print(pd.Series(Fr_cat))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Data%20Frame%20Statistics%0A%0A%20%20%20%20*pandas*%20has%20efficient%20routines%20to%20perform%20workbook-like%20row%20or%20column%20sorting%20(e.g.%2C%20%5B%60df.sort_index()%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Freference%2Fapi%2Fpandas.DataFrame.sort_index.html)%20or%20%5B%60df.sort_values()%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Freference%2Fapi%2Fpandas.DataFrame.sort_values.html))%2C%20and%20enables%20the%20fast%20calculation%20of%20data%20frame%20statistics%20with%20%60df.describe()%60%2C%20where%2025%25%2C%2050%25%2C%20and%2075%25%20represent%20the%20*i-th*%20percentiles%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(measurement_data_1)%3A%0A%20%20%20%20measurement_data_1.describe()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Statistical%20*pandas*%20data%20frame%20methods%20overlap%20with%20*NumPy*%20methods%20and%20include%3A%0A%0A%20%20%20%20*%20%60df.abs()%60%20calculates%20absolute%20values%0A%20%20%20%20*%20%60df.cumprod()%60%20calculates%20the%20cumulative%20product%0A%20%20%20%20*%20%60df.cumsum()%60%20calculates%20the%20cumulative%20sum%0A%20%20%20%20*%20%60df.count()%60%20counts%20the%20number%20of%20non-null%20observations%0A%20%20%20%20*%20%60df.max()%60%20calculates%20the%20maximum%20value%0A%20%20%20%20*%20%60df.mean()%60%20calculates%20the%20mean%20(average)%0A%20%20%20%20*%20%60df.min()%60%20calculates%20the%20minimum%20value%0A%20%20%20%20*%20%60df.mode()%60%20calculates%20the%20mode%0A%20%20%20%20*%20%60df.prod()%60%20calculates%20the%20product%0A%20%20%20%20*%20%60df.std()%60%20calculates%20the%20standard%20deviation%0A%20%20%20%20*%20%60df.sum()%60%20calculates%20the%20sum%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(measurement_data_1)%3A%0A%20%20%20%20print('Mean%3A%5Cn'%20%2B%20str(measurement_data_1.mean()))%0A%20%20%20%20print('Median%3A%5Cn'%20%2B%20str(measurement_data_1.median()))%0A%20%20%20%20print('Standard%20deviation%3A%5Cn'%20%2B%20str(measurement_data_1.std()))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3E%20**Note%3A**%20*pandas*%20has%20many%20more%20built-in%20functionalities%2C%20for%20example%2C%20to%20plot%20histograms%20or%20any%20data%20using%20the%20%60matplotlib%60%20library%2C%20and%20machine%20learning.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Apply%20Custom%20(Own)%20Functions%20to%20Data%20Frames%0A%0A%20%20%20%20*pandas*%20data%20frames%20have%20a%20built-in%20%60apply(fun%2C%20args%3D(...))%60%20method%20that%20enables%20applying%20a%20custom%20function%20to%20(parts%20of)%20a%20%60pd.DataFrame%60%20object.%20The%20following%20code%20block%20borrows%20from%20the%20%60feet_to_meter%60%20function%20from%20the%20%5Bfunctions%5D(https%3A%2F%2Fhydro-informatics.com%2Fjupyter%2Fpyfun.html%23kwargs)%20chapter%20(%5Bdownload%20converter.py%5D(https%3A%2F%2Fraw.githubusercontent.com%2Fhydro-informatics%2Fjupyter-python-course%2Fmain%2Ffun%2Fconverter.py)).%20The%20*pandas*%20docs%20provide%20more%20information%20about%20the%20%5Bpandas.apply%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Freference%2Fapi%2Fpandas.Series.apply.html)%20method.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20from%20fun.converter%20import%20feet_to_meter%0A%20%20%20%20df_1%20%3D%20pd.DataFrame(%7B'Feet'%3A%20np.random.randint(0%2C%20100%2C%20size%3D6)%2C%20'Meters'%3A%20np.ones(6)%20*%20np.nan%7D)%0A%20%20%20%20%23%20create%20data%20frame%20with%20random%20integers%0A%20%20%20%20df_1%5B'Meters'%5D%20%3D%20df_1%5B'Feet'%5D.apply(feet_to_meter)%0A%20%20%20%20%23%20apply%20feet_to_meter%20to%20the%20Meters%20columns%20of%20the%20data%20frame%0A%20%20%20%20print(df_1)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Dates%20and%20Time%0A%0A%20%20%20%20*pandas*%20involves%20methods%20for%20calculations%20and%20labeling%20with%20date%20and%20time%20values%20through%20%5B%60pd.Timestamp%60%5D(https%3A%2F%2Fpandas.pydata.org%2Fpandas-docs%2Fstable%2Freference%2Fapi%2Fpandas.Timestamp.html)%2C%20which%20converts%20date-time-like%20strings%20into%20timestamps%20or%20creates%20timestamps%20from%20keyword%20arguments%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20print(pd.Timestamp('2025-01-01T12'))%0A%20%20%20%20print(pd.Timestamp(year%3D2025%2C%20month%3D1%2C%20day%3D1%2C%20hour%3D12))%0A%20%20%20%20print(pd.Timestamp(2025%2C%201%2C%201%2C%2012))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20expression%20%60pd.Timestamp(2025%2C%201%2C%201%2C%2012)%60%20mimics%20the%20powerful%20%60datetime.datetime%60%20*API*%20(Application%20Programming%20Interface)%20of%20the%20%60datetime%60%20Python%20library%2C%20which%20provides%20sophisticated%20methods%20for%20handling%20time-dependent%20values.%20While%20*pandas*'%20built-in%20timestamps%20are%20convenient%20for%20creating%20time%20series%20within%20%60pd.DataFrame%60%20objects%20and%20workbook-like%20tables%2C%20%60datetime%60%20is%20one%20of%20the%20best%20solutions%20for%20time-dependent%20calculations%20in%20Python.%20%60datetime%60%20is%20available%20by%20default%20(i.e.%2C%20it%20must%20not%20be%20*conda*%20or%20*pip*-installed)%20and%20is%20efficiently%20applicable%2C%20for%20example%2C%20to%20data%20that%20were%20collected%20over%20several%20years%20including%20leap%20years.%20The%20%60datetime%60%20package%20comes%20with%20many%20attributes%20and%20methods%2C%20which%20are%20documented%20in%20detail%20in%20the%20%5BPython%20docs%5D(https%3A%2F%2Fdocs.python.org%2F3%2Flibrary%2Fdatetime.html).%0A%0A%20%20%20%20The%20standard%20usage%20is%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20datetime%20as%20dt%0A%20%20%20%20start_date%20%3D%20dt.datetime(2024%2C%202%2C%2025%2C%2022%2C%2030%2C%200)%0A%20%20%20%20end_date%20%3D%20dt.datetime(year%3D2024%2C%20month%3D3%2C%20day%3D2%2C%20hour%3D2%2C%20minute%3D15%2C%20second%3D30)%0A%20%20%20%20print(%22Datetime%20variables%20can%20be%20subtracted%3A%5Cn%22%20%2B%20str(end_date%20-%20start_date))%0A%20%20%20%20print(%22The%20result%20is%20a%20%25s%20object.%22%20%25%20type(end_date%20-%20start_date))%0A%20%20%20%20return%20dt%2C%20end_date%2C%20start_date%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60dt.timedelta%60%20objects%20can%20also%20be%20separately%20defined%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dt%2C%20end_date%2C%20start_date)%3A%0A%20%20%20%20time_diff%20%3D%20dt.timedelta(days%3D0%2C%20seconds%3D0%2C%20microseconds%3D0%2C%20milliseconds%3D0%2C%20minutes%3D0%2C%20hours%3D23%2C%20weeks%3D0)%0A%20%20%20%20act_time%20%3D%20start_date%0A%20%20%20%20print('Iterate%20from%20start%20to%20end%20date%20with%20stepsize%3Dtime_diff%3A')%0A%20%20%20%20while%20act_time%20%3C%3D%20end_date%3A%0A%20%20%20%20%20%20%20%20print(act_time.strftime('%25Y-%25m(%25h)-%25d%2C%20%25H%3A%25M%3A%25S'))%0A%20%20%20%20%20%20%20%20act_time%20%3D%20act_time%20%2B%20time_diff%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20That%20is%20all%20for%20the%20introduction%20to%20data%20and%20file%20handling.%20Though%20there%20is%20much%20more%20to%20data%20processing%20than%20shown%20in%20this%20chapter%20and%20the%20next%20other%20chapters%20of%20this%20eBook%20will%20occasionally%20feature%20more%20tools.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3E%20**Exercise%3A**%20Practice%20*pandas*%20and%20its%20*csv*%20file%20handling%20routines%2C%20as%20well%20as%20basic%20date-time%20handling%20in%20the%20%5Bflood%20return%20period%20calculation%5D(https%3A%2F%2Fhydro-informatics.com%2Fexercises%2Fex-floods)%20exercise.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A