Прикольно перечитывать этот пост почти спустя 3 года

I wish there was something like this before I went to NeurIPS: https://arxiv.org/abs/2403.18103

Sitting quietly, doing nothing, spring comes, and the grass grows, by itself.

Matsuo Basho

I also made this deal when I met him. Welcome to Amazon!

https://www.aboutamazon.com/news/company-news/dr-andrew-ng-joins-amazon-board-of-directors

Pretty crazy how well AI can generate music:

https://cdn1.suno.ai/5f126c60-5e0e-4c5c-b48d-2a01995b4450.mp3

Generated it using Suno. Sounds like BB King

David Hume конечно умный чел, но я должен размусолить эту идею на 2500 слов

My paper was destroyed. Пойду на пересдачу

The next time you visit any website, check its console log. You may find something interesting, and potentially useful/rewarding.

For example, some companies/people forget to remove logging an API token (I don’t know why would you do it tho) 👀

FX’s Shōgun are the best series I ever watched. Everyone should watch it, you will not regret it. Sadly just 1 episode left.

https://www.fxnetworks.com/shows/shogun/viewers-guide

Наконец-то сдал paper по философии. Проф в этот раз сказал "very good paper", после того провала в субботу. Кому интересно, можете почитать. Кстати, Berkeley про которого пишу в эссе, этот тот же чел в честь которого назвали город и UC Berkeley.

В целом, все же странное чувство брать Humanities в последний семестр. Будто бы "играюсь в детском саду в песочнице, когда через месяц уже идти в школу."

I am so grateful for people like this guy who are exposing liars:

https://youtu.be/tNmgmwEtoWE?si=vRAQrPlXAvwGGdUK

https://x.com/bryanrbeal/status/1781454698136109380?s=46&t=Xqv-8tHUNkdwwhoJQlQOjQ

Also, easy to guess which company will be able to effectively scale it to millions of customers

New type of neural networks just dropped. Authors say KANs are both accurate and interpretable.

Compared to MLPs, where weights are just a scalar value, in KANs they are learnable univariate functions. This adds to its better interpretability since activation functions can be now visualized more effectively.

Just a main takeaway, I guess we will see more research on them in the coming weeks.

https://arxiv.org/abs/2404.19756

Собственно говоря, сам автор объясняет:

https://x.com/zimingliu11/status/1785483967719981538?s=46&t=Xqv-8tHUNkdwwhoJQlQOjQ

Через 2 недели у меня graduation. Пересматривал свои фото и видео, и поразмышлял – что эти 4 года вообще из себя представляли?

На первый взгляд, мне казалось, время пролетело очень быстро, и я проживал не самую интересную универскую жизнь. Но копая глубже, смотря на каждое воспоминание, прочувствовав каждый момент снова, но уже через призму «настоящего» себя, начинаешь понимать, что счастье, оно есть в каждой мелочи, в каждом обычном моменте.

Ещё одно наблюдение: в каждый из жизненных моментов, я точно знаю, что думал, что всё происходящее в настоящее на то время будет всегда таким же и неизменным. Я думал, что я достаточно вырос и расти (здесь я говорю про духовный рост) уже некуда. Вот, как я считаю сейчас о какой-либо проблеме или точке зрения – так оно всегда и будет. И каждый раз я ошибался, и я этому рад. Смотря на себя в прошлом, я благодарен, что всё сложилось не так, как я хотел на тот момент.

«To travel means, ultimately, nothing more than coming back home a different person from the one who left» - Pico Iyer

Great talk, have been a huge fan of Scott Galloway recently

https://youtu.be/qEJ4hkpQW8E?si=lZ-uOEiPvgCpH1oQ

What a great interview. I haven’t finished watching it yet but from beginning I have a thought: right now is probably the worst time to do PhD/research in AI. It is probably an unpopular opinion.

Why? When I was applying for PhD last semester (I ended up not applying anywhere), I saw bunch of labs doing research in LLMs. I agree with Yann LeCun that LLMs have a huge problem: they lack essential capabilities for intelligent beings, such as understanding and reasoning about the physical world.

Yes, they can be great for replacing people in low stakes situations like customer assistance, or generating emails, etc. – that’s where bunch of startup ideas come from. But they rely solely on language as a medium for reasoning.

Think about your reasoning. Is everything you think about contains language? When you fill out your water bottle, and try not to overflow it, are you producing any language to guide this process? There is more vision and understanding of physics involved, rather than language. In fact, you would be able to do that even before you learn how to speak and understand language.

And there are more such problems with LLMs.

So going back to my take on doing PhD. If you do PhD in AI, I think it should be something in fundamentals of AI, physics informed neural networks, AI in science, etc. That’s where hype of LLMs is avoided (mostly), and that’s where the next step to AGI is.

https://youtu.be/5t1vTLU7s40?si=jYx-S0J1WWjGlluA

Great food for brain: https://writings.stephenwolfram.com

Большой респект моему профу по философии - классы уже давно закончились, а он продолжает нас обучать ... через email. Кстати, почитайте. Он очень грамотно всё объясняет.

В целом этот класс очень интересный, но настолько annoyingly painful, что ни любой CS курс который я брал настолько меня не з**бывал. Надеюсь проф меня не завалит в понедельник, и я смогу выпуститься.

Everything great is open source: https://fleuret.org/francois/lbdl.html