tgoop.com/Victor_Osyka/528
Last Update:
Книга "Информация" 2011 г. Д.Глика - как Клод Шеннон связал инфо и неопределенность (энтропию). Инфо - это [отрицательная] энтропия, неопределенность, неожиданность, редкость, трудность расчета
1. Письмо
- Алфавит появился лишь однажды 1500 лет до н.э. у Палестины - 22 буквы. В мире 6000 устных языков, без букв. Пиктографические языки 30 тыс лет назад (с палеолита)
- В Африке барабанами передавали звуки, еще не буквы, но уже не слова. А Морзе взял уже не звуки, а части слов - буквы (телеграф работал с азбукой Морзе)
- Письменность была нужна, чтобы сохранить инфо во времени и пространстве. До письма коммуникация была недолговечной и локальной. Канал письма не просто расширил предыдущие, он дал появиться методам повторного использования и воспоминания
- В Ср.Азии изучали аборигенов, те не принимали логические силлогизмы. Типа: «На Севере, где всегда снег, все медведи белые. Новая Земля - на Севере, и там всегда снег. Какого цвета медведи?» Типичный ответ: «Не знаю. Я видел бурого, а других нет, в каждой местности свои животные». А человек, только умеющий читать и писать, отвечал: «Исходя из ваших слов они должны быть белыми». «исходя из ваших слов» = переход на другой уровень = инфо отделяется от личности, от опыта говорящего
- Письмо вызывало волнения, маршалл Маклюэн говорил, что печать дает узкий канал, линейный, фрагментарный. А в речи, в разговоре лицом к лицу с жестами и касаниями, важны все чувства
- Первый словарь английского сделал школьный учитель в 1604. Оксфордский словарь 1928г был 400К слов + неск. тыс. слов ежегодно
2. Математика
- Она вышла из письма - системного подхода к записи чисел. Логарифмы открыл Непер... Натуральные числа. Он пришел интуитивно, с терминами “разница” и “отношение”
- Буль придумал логику, операции, матлогику
3. Беббидж и его вычислитель
- Поступил в Тринити-колледж в 1810 и понял, что знает больше преподов, стал читать зарубежные книги. В 1820 сделал механическую разностную машину
- Ада Лавлейз работала с ним и стала первой кодершей. Она придумала процесс, набор правил, цепь операций, потом это назвали бы алгоритмом, позже - программой, но тогда концепция требовала мучительных объяснений. Причем ее алгоритм оказался рекурсивным и исполнялся циклически: результат одной итерации становился данными для следующей
- Машину Беббиджа финансировали 20 лет госведомства, военные итп
4. Шеннон
- bit = binary digit
- До Шеннона в Bell Labs Хартли сформулировал: Н = n*logS, где Н - количество инфо, n - число символов в сообщении, S - число символов в языке
- В MIT делали дифференциальный анализатор Буша
- Шеннон работал в электро лабе и понял, что инфо передается даже в самом факте замкнута цепь или нет
- Шеннон: неопределенность можно измерить, сосчитав количество возможных сообщений. Если возможно лишь одно сообщение, неопределенности нет и, значит, там нет инфо. "Некоторые сообщения могут быть более вероятными, чем другие, и инфо подразумевает неожиданность", это есть способ выражать вероятности. Если буква, следующая за t (в английском языке), h, то передается не так много инфо, тк вероятность h после t сравнительно высока
- "Имеет существенное значение трудность передачи сообщения из одной точки в другую". Это, наверное, покажется столь же тавтологичным, как определение массы в терминах силы, нужной, чтобы сдвинуть объект. Но, с др.стороны, массу таким образом определить можно
- Каждый инженер [в электролабах тех времен], если просили передать больше инфо по каналу, знал - надо выше мощность сигнала. Но на больших расстояниях подход не работал, тк усиление [аналогового] сигнала всегда вело к росту шума. Шеннон обошел это, увидев сигнал как цепь дискретных символов. И вместо роста мощности отправитель мог преодолеть шум, _используя лишние символы_ для коррекции ошибок, ровно как африканский барабанщик не стучал сильнее, а растил число слов в послании (!)
- "Информация есть энтропия". Это было самым странным и самым мощным определением. Энтропия есть мера неупорядоченности системы в термодинамике
// Часть 2 тут
BY Victor Osyka, техноцивилизация
Share with your friend now:
tgoop.com/Victor_Osyka/528