Machine Learning Intutions

import%20marimo%0A%0A__generated_with%20%3D%20%220.14.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sklearn%0A%20%20%20%20import%20numpy%0A%20%20%20%20import%20pandas%0A%20%20%20%20import%20drawdata%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20return%20drawdata%2C%20mo%2C%20numpy%2C%20pandas%2C%20plt%2C%20sklearn%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%23%20Developing%20Classical%20Machine%20Learning%20Intuitions%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(drawdata%2C%20mo)%3A%0A%20%20%20%20widget%20%3D%20mo.ui.anywidget(drawdata.ScatterWidget(height%3D300))%0A%20%20%20%20widget%0A%20%20%20%20return%20(widget%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20a_group%20%3D%20mo.ui.radio(options%3D%5B%221%22%2C%222%22%5D%2Cvalue%3D%221%22%2Clabel%3D%22What%20classification%20group%20should%20the%20blue%20points%20from%20'a'%20be%20assigned%20to%3F%22)%0A%20%20%20%20b_group%20%3D%20mo.ui.radio(options%3D%5B%221%22%2C%222%22%5D%2Cvalue%3D%221%22%2Clabel%3D%22What%20classification%20group%20should%20the%20orange%20points%20from%20'b'%20be%20assigned%20to%3F%22)%0A%20%20%20%20c_group%20%3D%20mo.ui.radio(options%3D%5B%221%22%2C%222%22%5D%2Cvalue%3D%222%22%2Clabel%3D%22What%20classification%20group%20should%20the%20green%20points%20from%20'c'%20be%20assigned%20to%3F%22)%0A%20%20%20%20d_group%20%3D%20mo.ui.radio(options%3D%5B%221%22%2C%222%22%5D%2Cvalue%3D%222%22%2Clabel%3D%22What%20classification%20group%20should%20the%20red%20points%20from%20'd'%20be%20assigned%20to%3F%22)%0A%20%20%20%20mo.vstack(%5Bmo.hstack(%5Ba_group%2Cb_group%5D)%2Cmo.hstack(%5Bc_group%2Cd_group%5D)%2Cmo.md(%22--------%22)%5D)%0A%20%20%20%20return%20a_group%2C%20b_group%2C%20c_group%2C%20d_group%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20a_size%20%3D%20mo.ui.range_slider(start%3D1%2C%20stop%3D10%2C%20step%3D1%2C%20value%3D%5B2%2C%206%5D%2Clabel%3D%22What%20'size%20range'%20should%20we%20pretend%20the%20blue%20points%20from%20'a'%20are%3F%22%2C%20show_value%3DTrue)%0A%20%20%20%20b_size%20%3D%20mo.ui.range_slider(start%3D1%2C%20stop%3D10%2C%20step%3D1%2C%20value%3D%5B2%2C%206%5D%2Clabel%3D%22What%20'size%20range'%20should%20we%20pretend%20the%20orange%20points%20from%20'b'%20are%3F%22%2C%20show_value%3DTrue)%0A%20%20%20%20c_size%20%3D%20mo.ui.range_slider(start%3D1%2C%20stop%3D10%2C%20step%3D1%2C%20value%3D%5B2%2C%206%5D%2Clabel%3D%22What%20'size%20range'%20should%20we%20pretend%20the%20green%20points%20from%20'c'%20are%3F%22%2C%20show_value%3DTrue)%0A%20%20%20%20d_size%20%3D%20mo.ui.range_slider(start%3D1%2C%20stop%3D10%2C%20step%3D1%2C%20value%3D%5B2%2C%206%5D%2Clabel%3D%22What%20'size%20range'%20should%20we%20pretend%20the%20red%20points%20from%20'd'%20are%3F%22%2C%20show_value%3DTrue)%0A%20%20%20%20mo.vstack(%5Ba_size%2Cb_size%2Cc_size%2Cd_size%2Cmo.md(%22--------%22)%5D)%0A%20%20%20%20return%20a_size%2C%20b_size%2C%20c_size%2C%20d_size%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_group%2C%0A%20%20%20%20a_size%2C%0A%20%20%20%20b_group%2C%0A%20%20%20%20b_size%2C%0A%20%20%20%20c_group%2C%0A%20%20%20%20c_size%2C%0A%20%20%20%20d_group%2C%0A%20%20%20%20d_size%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20numpy%2C%0A%20%20%20%20pandas%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20sklearn%2C%0A%20%20%20%20widget%2C%0A)%3A%0A%0A%20%20%20%20rng%20%3D%20numpy.random.default_rng(0)%0A%20%20%20%20class_dict%20%3D%20%7B'a'%3Aint(a_group.value)%2C'b'%3Aint(b_group.value)%2C'c'%3Aint(c_group.value)%2C'd'%3Aint(d_group.value)%7D%0A%0A%20%20%20%20def%20return_size(user_class)%3A%0A%20%20%20%20%20%20%20%20size_class_dict%20%3D%20%7B'a'%3Aa_size.value%2C'b'%3Ab_size.value%2C'c'%3Ac_size.value%2C'd'%3Ad_size.value%7D%0A%20%20%20%20%20%20%20%20return(rng.integers(low%3Dsize_class_dict%5Buser_class%5D%5B0%5D%2Chigh%3Dsize_class_dict%5Buser_class%5D%5B1%5D%2Csize%3D1))%0A%0A%20%20%20%20list_of_features%20%3D%20%5B%22x%22%2C%22y%22%2C%22size%22%5D%0A%20%20%20%20output%20%3D%20%22%22%0A%20%20%20%20fig%20%3D%20mo.md(%22%22)%0A%20%20%20%20if%20widget.value%5B%22data%22%5D%3A%0A%20%20%20%20%20%20%20%20data_no_size%20%3D%20widget.data_as_pandas%5B%5B%22x%22%2C%22y%22%2C%22label%22%5D%5D%0A%20%20%20%20%20%20%20%20data_no_size%5B%22size%22%5D%20%3D%20widget.data_as_pandas%5B%22label%22%5D.map(lambda%20x%3A%20return_size(x))%0A%20%20%20%20%20%20%20%20data_with_size%20%3D%20data_no_size%5Blist_of_features%2B%5B%22label%22%5D%5D%0A%20%20%20%20%20%20%20%20widget_data%20%3D%20numpy.array(data_with_size)%0A%20%20%20%20%20%20%20%20label%20%3D%20numpy.array(widget.data_as_pandas%5B%22label%22%5D.map(lambda%20x%3A%20class_dict%5Bx%5D)).T%0A%20%20%20%20%20%20%20%20print(widget_data.shape%2Clabel.shape)%0A%20%20%20%20%20%20%20%20X_train_with_label%2C%20X_test_with_label%2C%20y_train%2C%20y_test%20%3D%20sklearn.model_selection.train_test_split(widget_data%2C%20label%2C%20stratify%3Dlabel%2C%20random_state%3D42%2Ctest_size%3D0.5)%0A%20%20%20%20%20%20%20%20test_wtih_all_labels%20%3D%20pandas.DataFrame(X_test_with_label%2Ccolumns%3D%5B%22x%22%2C%22y%22%2C%22size%22%2C%22label%22%5D)%0A%20%20%20%20%20%20%20%20test_wtih_all_labels%5B%22numeric_label%22%5D%20%3Dy_test%0A%20%20%20%20%20%20%20%20X_train%20%3D%20X_train_with_label%5B%3A%2C%3A-1%5D%0A%20%20%20%20%20%20%20%20X_test%20%3D%20X_test_with_label%5B%3A%2C%3A-1%5D%0A%20%20%20%20%20%20%20%20forest%20%3D%20sklearn.ensemble.RandomForestClassifier(random_state%3D0)%0A%20%20%20%20%20%20%20%20forest.fit(X_train%2C%20y_train)%0A%20%20%20%20%20%20%20%20importances%3Dforest.feature_importances_%0A%20%20%20%20%20%20%20%20indices%20%3D%20numpy.argsort(importances)%5B%3A%3A-1%5D%0A%20%20%20%20%20%20%20%20output%20%3D%20f%22%23%23%20Results%3A%20%5Cn%20%23%23%23%20The%20accuracy%20of%20separating%20class%201%20from%20class%202%20is%20%7B(100*forest.score(X_test%2Cy_test))%3A.2f%7D%25.%5Cn%20%23%23%23%20The%20most%20important%20features%20are%20%22%2B%22%2C%20%22.join(%5Bf%22%7Blist_of_features%5Bindices%5Bf%5D%5D%7D(%7B(100*importances%5Bindices%5Bf%5D%5D)%3A.2f%7D%25)%22%20for%20f%20in%20range(len(list_of_features))%5D)%0A%20%20%20%20%20%20%20%20true_test_classes%20%3D%20test_wtih_all_labels%5B%22label%22%5D.unique()%0A%20%20%20%20%20%20%20%20true_test_classes.sort()%0A%20%20%20%20%20%20%20%20for%20true_class%20in%20true_test_classes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20to_test%20%3D%20test_wtih_all_labels.query(f'label%3D%3D%22%7Btrue_class%7D%22')%0A%20%20%20%20%20%20%20%20%20%20%20%20to_test_labels%20%3D%20numpy.array(to_test%5B%22numeric_label%22%5D).T%0A%20%20%20%20%20%20%20%20%20%20%20%20to_test_data%20%3D%20numpy.array(to_test%5Blist_of_features%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20output%20%2B%3D%20f%22%5Cn%20%23%23%23%20The%20per-class%20accuracy%20for%20class%20%7Btrue_class%7D%20is%20%7B(100*forest.score(to_test_data%2Cto_test_labels))%3A.2f%7D%25.%22%0A%20%20%20%20%20%20%20%20fig%2C%20axs%20%3D%20plt.subplots(3%2C3%2Cfigsize%3D(10%2C%2010)%2C%20layout%3D'constrained')%0A%20%20%20%20%20%20%20%20for%20ax%2C%20i%20in%20zip(axs.flat%2Crange(9))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20tree%20%3D%20forest.estimators_%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20sklearn.tree.plot_tree(tree%2Cfeature_names%3Dlist_of_features%2C%20class_names%3D%5B%221%22%2C%222%22%5D%2Cax%3Dax%2Crounded%3DTrue)%0A%20%20%20%20mo.md(output)%0A%20%20%20%20return%20fig%2C%20forest%2C%20list_of_features%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22-----%20%5Cn%20%23%23%20What%20do%20some%20of%20those%20decision%20trees%20actually%20look%20like%3F%20Let's%20check%20out%20the%20top%209%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(fig)%3A%0A%20%20%20%20fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20tree_to_look%20%3D%20mo.ui.number(label%3D%22Look%20up%20tree%20number%3A%22%2C%20start%3D0%2Cstop%3D99%2Cstep%3D1)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Call%20up%20any%20individual%20tree%20you%20want%22)%2Ctree_to_look%5D)%0A%20%20%20%20return%20(tree_to_look%2C)%0A%0A%0A%40app.cell%0Adef%20_(forest%2C%20list_of_features%2C%20plt%2C%20sklearn%2C%20tree_to_look)%3A%0A%20%20%20%20fig2%2Cax2%20%3D%20plt.subplots(1%2C1%2Cfigsize%3D(10%2C%2010)%2C%20layout%3D'constrained')%0A%20%20%20%20sklearn.tree.plot_tree(forest.estimators_%5Btree_to_look.value%5D%2Cfeature_names%3Dlist_of_features%2C%20class_names%3D%5B%221%22%2C%222%22%5D%2Crounded%3DTrue%2Cax%3Dax2)%0A%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23color_variability%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D128%2C%20step%3D2%2C%20value%3D2)%0A%0A%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23mo.hstack(%5Bcolor_variability%2C%20mo.md(f%22Has%20value%3A%20%7Bcolor_variability.value%7D%22)%5D%2Cjustify%3D%22start%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23shape_variability%20%3D%20mo.ui.range_slider(start%3D0%2C%20stop%3D3%2C%20step%3D0.1%2C%20value%3D%5B1%2C2%5D)%0A%20%20%20%20%23shape_variability%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A