Сколько слов нужно знать, чтобы понять текст

  1. Сколько слов нужно знать, чтобы понять текст на английском?
  2. Сколько слов нужно знать, чтобы понять текст на польском языке?
  3. Сколько слов нужно знать, чтобы понять текст на немецком языке?
  4. Сколько слов нужно знать, чтобы понять текст на французском?
  5. Сколько слов нужно знать, чтобы понять арабский текст?
  6. Если вы хотите провести подобный эксперимент самостоятельно, вот краткое пошаговое руководство:

Несколько дней назад я начал рабочий проект по расширению моего словарного запаса на хинди, основанный на диалогах из фильма «Замороженные» («Frozen») - больше информации здесь , Один из вопросов, которые у меня были в то время, был очень интересным: сколько слов нужно знать, чтобы понять текст?

Я также был вдохновлен статьей: Очень быстрое изучение языков - с помощью некоторой базовой науки о данных чей автор собрал субтитры для многих эпизодов своего любимого сериала на шведском языке и проанализировал содержащиеся в них слова, используя разработанный им сценарий. Он пришел к выводу, что в случае этого языка принцип Парето действительно работает - 20% слов было достаточно, чтобы понять 80% текста.

Я решил провести аналогичный эксперимент, используя субтитры для фильма Frozen на польском, английском, немецком, французском и арабском языках.

Мне было интересно следующее:

  1. Понимают ли 20% слов в субтитрах 80% всего текста на каждом из этих языков?
  2. Относится ли подобная пропорция только к языкам, в которых разнообразие глаголов и существительных очень простое, например, английский, шведский и т. Д.? Это также относится к изучению языков, таких как польский, где слова могут быть найдены в различных формах

Я сделал следующий план для выполнения:

  1. Я буду использовать субтитры к фильму «Земля льда» на разных языках и разбью все предложения на отдельные слова
  2. К слову я отнесусь:
    1. Все слова, включая их собственные имена, например, Эльза, Анна и т. Д.
    2. Любая форма слова, которое появляется в тексте. Например, формы глагола «есть», «был», «будет» или существительные: «снеговик», «снеговик» будут рассматриваться как отдельные слова.
    3. Слова, к которым присоединяется апостроф, будут рассматриваться как одно слово, например, «я», «он» на английском языке или «c'est» на французском языке.
    4. Слова, объединенные с дефисом, в свою очередь, сломают, например, «аттрип-мои» по-французски, два слова «аттра» и «мой»
    5. Если слово может иметь два значения, я включил их как одно слово, например, «возможно» в смысле «возможно» и «возможно» в смысле «он / она может» - это одно слово в моем анализе
    6. Если в правописании слово связано с другим, например арабским «i» или «و», оно будет рассматриваться как часть следующего слова. Так, например, «ولكن» - это одно слово, а не два.

Вот результаты моих экспериментов:

Сколько слов нужно знать, чтобы понять текст на английском?

Вот основные данные: Вот основные данные:

  • количество всех слов (включая повторы): 7747
  • количество отдельных слов: 1241
  • слова повторяются в среднем: 6,2 раза
процент слов:позволяет понять:

5% 52,3% 10% 65,64% 20% 78,55% 35% 87,20% 50% 91,98%

10 самых распространенных слов:

  • ты, я, это, это, и, нет, это я

Сколько слов нужно знать, чтобы понять текст на польском языке?

Вот основные данные: Вот основные данные:

  • количество всех слов (включая повторы): 6374
  • количество отдельных слов: 1885
  • слова повторяются в среднем: 3,4 раза
процент слов:позволяет понять:

5% 48,59% 10% 59,81% 20% 70,76% 35% 80,31% 50% 85,21%

10 самых распространенных слов:

  • нет, это, есть, и, в, что, с, да, на

Сколько слов нужно знать, чтобы понять текст на немецком языке?

Вот основные данные: Вот основные данные:

  • количество всех слов (включая повторы): 6022
  • количество отдельных слов: 1366
  • слова повторяются в среднем: 4,4 раза
Процент слов:позволяет понять:

5% 49,04% 10% 63,05% 20% 75,12% 35% 83,68% 50% 88,66%

10 самых распространенных слов:

  • ich, ist, du, nicht, das, und, sie, es, вихрь, умереть

Сколько слов нужно знать, чтобы понять текст на французском?

Вот основные данные: Вот основные данные:

  • количество всех слов (включая повторы): 7630
  • количество отдельных слов: 1471
  • слова повторяются в среднем: 5,2 раза
процент слов:позволяет понять:

5% 52,27% 10% 65,53% 20% 77,47% 35% 85,56% 50% 90,37%

10 самых распространенных слов:

  • я, де, ля, па, здесь, не, ле, с

Сколько слов нужно знать, чтобы понять арабский текст?

Вот основные данные: Вот основные данные:

  • количество всех слов (включая повторы): 5988
  • количество отдельных слов: 2441
  • слова повторяются в среднем: 2,5 раза
процент слов:позволяет понять:

5% 42,20% 10% 52,83% 20% 63,65% 35% 73,54% 50% 79,64%

10 самых распространенных слов:

  • لا, أن, من, هذا, في, كلا, آنا, أنا, على, ما

Принцип Парето хорошо работает в языках, где преобладают слова с небольшим количеством форм. В случае языков, где слова повторяются до 6 раз, таких как английский, знание 20% слов достаточно для понимания 80% текста.

То же самое относится к французскому и немецкому языкам, где 20% слов достаточно для понимания более 75-77% текста.

В случае с польским языком, где существует большое количество форм существительных, это уже хуже. 20% слов позволяют понять только 70%. Чтобы понять 80% текста, мы уже должны знать 35% слов.

Арабский язык упал хуже всего, но в основном потому, что слово «я» связано со следующим, что значительно сокращает количество повторений отдельных слов в тексте. Из того, что я заметил, в субтитрах, которые были в моем распоряжении, слова не всегда были отделены последовательным пробелом, который мог повлиять на результат. После отделения слова «i» результаты были намного больше похожи на польский язык (20% слов позволили понять 66% текста). Если бы я последовательно разделял все слова, я думаю, что результаты были бы еще ближе к польскому языку.

В целом можно сделать следующие выводы:

  • Знания 20% токенов достаточно для понимания 80% текста практически на каждом языке. Язык понимается здесь как единица, содержащая все формы выражения, поэтому, например, лексема «снеговик» также содержит в себе формы «снеговик», «снеговик» и т. Д.
  • Когда мы учитываем все слова, а не только лексемы, знание 20% позволяет понять 60-80% текста в зависимости от сложности грамматики языка. Чем больше число словесных и существительных форм и возможность объединения слов в одно целое, тем ниже процент понимания текста.
  • Сложность в изучении языка может быть определена показателем среднего числа повторений слов в тексте. Чем оно выше, тем меньше слов требуется для понимания текста. Конечно, также стоит принять во внимание второй показатель, который сложнее определить, то есть процент исключений из правила , когда мы имеем дело с созданием словесных и существительных форм. Например, на польском языке проблема состоит в том, чтобы создать форму дополнения к единственному числу существительных мужского рода. В других языках, в свою очередь, у нас может быть много исключений в случае глагольных вариаций. В свою очередь, эсперанто, который теоретически имеет больше форм, чем английский, легче освоить, потому что все формы регулярны.

Если вы хотите провести подобный эксперимент самостоятельно, вот краткое пошаговое руководство:

  1. Найти субтитры к фильмам и открыть их в Excel
  2. Замените все знаки препинания пробелами, например,.!? "();:
  3. Замените дефис и пробел пробелом или "-" на ""
  4. Замените двойные пробелы пробелами
  5. Сортировать столбец с предложениями по алфавиту
  6. Удалите строки с номерами строк в субтитрах и строки аннотаций времени, например, «00: 01: 56,866 -> 00: 02: 01,037»
  7. Выполните команду «Текст в столбцы» и установите «пробел» в качестве разделителя
  8. Отдельные слова будут выброшены в столбцы
  9. Сортировать каждый столбец, чтобы удалить пустые ячейки
  10. Переверните содержимое каждого столбца в первый столбец
  11. Добавьте заголовок столбца, например «Слова»
  12. Создайте сводную таблицу, вставив «Слова» в поле строки и «Количество слов» в поле данных

Похожие

Работа на высоте или BHP на польском языке
Как вы относитесь к здоровью и безопасности? серьезно, я следую всем правилам 27% неоднозначно, некоторые из руководящих принципов - нонсенс 54% он игнорирует их, потому что, будучи предупрежден, он не сможет работать 12% нет я не знаю правил здоровья и безопасности 7% На крупных сооружениях, управляемых известными инвесторами, у ворот есть щиты с информацией о том, как долго здесь не произошло ни одной аварии. В случае небольших ремонтов это
Apple, чтобы вы могли отключить iPhone замедление программного обеспечения
Apple тормозит ваш старый iPhone, но вы скоро сможете с этим что-то сделать. Сара Тью / CNET После скандала со стороны клиентов Apple заявила в среду, что это добавление функции в предстоящее обновление iOS это позволит им отключить программное обеспечение, которое замедляет работу старых
Сколько ультрафиолетового излучения отражает снег?
В ближайшие недели дни станут теплее, солнце поднимется выше в небе, и энтузиасты бэккантри будут гулять в блаженной снежной весенней обстановке. Но учтите следующее: снег отражает до 80 процентов ультрафиолетового излучения, что означает, что ваша ультрафиолетовая доза почти вдвое больше, чем в противном случае. (Для сравнения, трава, почва и вода отражают менее 10 процентов; сухой пляжный песок 15 процентов; и морская пена 25 процентов, согласно этому
Настройка браузеров
... чтобы открыть предварительный просмотр. Вы можете использовать определенный браузер из контекстного меню или выбрать Браузер по умолчанию . WebStorm также открывает браузер WebStorm по умолчанию для визуализации внешних ресурсов. В диалоговом окне «Настройки / Настройки» (Ctrl + Alt + S) щелкните «Веб-браузеры» в разделе «Инструменты». Веб-браузеры страница открывается.
Антивирус работает в облаке? Вот 3 лучших.
Недостатком классических антивирусных программ является необходимость постоянного обновления базы данных сигнатур вирусов. Более того, производительность компьютера во время сканирования часто резко падает. Антивирусные программы на основе облачных технологий призваны решить эти проблемы.
Вы вошли в свою учетную запись Google с другого устройства? Вы получите уведомление
Google вводит новую функцию, с помощью которой пользователи устройств Android будут уведомлены о входе в свою учетную запись Google с другого устройства. Google вводит новую функцию, с помощью которой пользователи устройств Android будут уведомлены о входе в свою учетную запись Google с другого устройства. Google очень заботится о нашей безопасности. Вот почему он заботится о проверке пользователей. Однако в последнее время двухэтапная стадия немного упростилась,
Что нужно знать перед покупкой цифровой камеры?
пикселей Пиксели - это маленькие элементы, которые создают изображение. Чем больше пикселей, тем выше разрешение, а это означает, что вы можете увеличивать фотографии без потери деталей. Оптический зум В отличие от цифрового зума, который просто увеличивает центр изображения, что приводит к потере разрешения, оптический зум обеспечивает истинное увеличение,
Забыли учетные данные или пароль - что делать?: Проблемы со входом в систему Otto - СЕТЬ
Саймон Бёттгер 13 марта 2017 года в 12:05 • около 3 минут чтения  доля «Вернуться на первую страницу Проблемы
6 бесплатных приложений Mind Map для Mac, чтобы ваши творческие соки текли
... чтобы добавить узлы, вы можете либо щелкнуть знак плюс на текущем узле, либо кнопку « Добавить дочернюю тему» на панели инструментов. Чтобы вставить текст в узел, щелкните T на текущем узле или дважды щелкните внутри фигуры. Другие функции включают в себя: Отменить и повторить кнопки Параметры печати и масштабирования Произвольная или горизонтальная планировка Цветовые
5 идей для бизнеса в нерабочее время
... сколько, и доход может складываться. Зарегистрировавшись, вы также получите: Мы приглашаем вас присоединиться к сообществу компании на zafirmowani.pl! Создавая аккаунт на портале вы получаете: доступ к статьям, видео и загружаемым файлам в премиум-версии умение задавать вопросы и обмениваться знаниями с экспертом размещение вашей визитки онлайн (мини сайт) Мы решили организовать маркетинговую
Как часто вы заменяете цепь в своем велосипеде?
От государства цепь зависит от эффективности вождения, точности переключения передач, бесшумной работы системы привода . Как и любой механический компонент, он подвержен износу во время использования. В случае цепочки вместе с пройденными милями увеличивается ее извлечение. Это совершенно естественный процесс. Как часто вы заменяете цепь в своем велосипеде? Как определить его состояние?

Комментарии

Конечно, вы можете слушать всю музыку, которую хотите, но что, если вы не можете получить доступ к Интернету?
Конечно, вы можете слушать всю музыку, которую хотите, но что, если вы не можете получить доступ к Интернету? Вот почему людям необходимо записывать аудио с YouTube и хранить его в своих портативных аудиоплеерах для последующего воспроизведения. Два условно-бесплатных для записи аудио с YouTube 1. Потоковое аудио-рекордер Первым в списке лучших приложений для записи аудио YouTube является
Если вы используете много разных приложений, вы можете рассмотреть модель с большим объемом оперативной памяти в следующий раз, когда вы купить смартфон Покупаете новый смартфон?
Конечно, вы можете слушать всю музыку, которую хотите, но что, если вы не можете получить доступ к Интернету? Вот почему людям необходимо записывать аудио с YouTube и хранить его в своих портативных аудиоплеерах для последующего воспроизведения. Два условно-бесплатных для записи аудио с YouTube 1. Потоковое аудио-рекордер Первым в списке лучших приложений для записи аудио YouTube является
2. нужно ли рутировать мое устройство, чтобы использовать Cheat Engine For Android?
2. нужно ли рутировать мое устройство, чтобы использовать Cheat Engine For Android? В некоторых версиях этого приложения вам понадобится рутованное устройство. В основном вам не придется беспокоиться об этой проблеме, просто скачайте apk cheat engine из приведенного выше списка, и все будет работать гладко. 3. какие взломы возможны с Cheat Engine apk? Как было упомянуто довольно много времени на протяжении всей статьи, хаки, такие
Хотите знать, как программа была расширена шаг за шагом или кто добавил кусок кода?
Хотите знать, как программа была расширена шаг за шагом или кто добавил кусок кода? Хотите ли вы вернуться к версии кода две недели назад или создать отдельную «ветку» кода, чтобы что-то попробовать? Для этого и нужен git. Это мощный инструмент, но в начале он может быть немного подавляющим. Не беспокойтесь об этом: стоит изучить, как оформить заказ, зафиксировать, нажать и потянуть. Этого достаточно, чтобы начать. Все остальное придет позже. Я рекомендую этот фильм
Сколько времени понадобилось, чтобы начать магазин?
Сколько времени понадобилось, чтобы начать магазин? От первых концепций, все еще находящихся на страницах бумаги и направления проектов IAI до запуска магазина, прошло около 3 месяцев. Long. Я не предсказывал, что весь этот процесс займет столько времени. И это была первая ошибка - бегущая индустрия основана на коллекциях весна-лето и осень-зима, я начал слишком поздно, в основном из-за пропущенного товара (который я выбрал с мыслью о лете). Какой бюджет
Что вы можете сделать для тех времен, когда вам нужно быть в офисе, но вы просто не можете это сделать?
Что вы можете сделать для тех времен, когда вам нужно быть в офисе, но вы просто не можете это сделать? Как насчет того, чтобы на твоем месте появился робот? Это идея с двойной , телеприсутствия робот, который работает с iPad. Double - это подставка для iPad на колесиках. «Голова» обеспечивает плотное прилегание к iPad обычного размера, которое вы должны предоставить. IPad подключается
Как вы ремонтируете сеть Wi-Fi, чтобы вы могли восстановить соединение?
Как вы ремонтируете сеть Wi-Fi, чтобы вы могли восстановить соединение? Сброс сохраненных настроек сети Wi-Fi Первый способ, который вы всегда должны пробовать, когда у вас возникают проблемы с сетью Wi-Fi, - это удалить сохраненный профиль сети, поэтому вам нужно заново подключиться с паролем с самого начала. Во многих случаях это позволяет решить проблему с этим сообщением. Для этого перейдите в меню «Пуск» и запустите приложение «Настройки»
Вы просто хотите небольшой, дешевый диск для случайного перемещения документов?
Вы просто хотите небольшой, дешевый диск для случайного перемещения документов? USB 2.0 хорошо для этого. С другой стороны, если вам нужен дисковод для частого использования, а скорость критична, особенно если вы передаете большие файлы, вам, вероятно, понадобится дисковод USB 3.0. Имейте в виду, что только потому, что диск USB 3.0 не означает, что это все намного быстрее. На данный момент Amazon продает 16 ГБ флэш-накопитель USB 3.0 всего за 15 долларов. Тем не менее, обзоры показывают,
Ваши динамики (или какой аудиовыход вы хотите использовать) имеют зеленая галочка рядом с ними?
Ваши динамики (или какой аудиовыход вы хотите использовать) имеют зеленая галочка рядом с ними? Если нет, щелкните правой кнопкой мыши предпочитаемый аудиовыход и выберите «Установить как устройство по умолчанию». Если это не сработает, щелкните правой кнопкой мыши в любом месте списка устройств и выберите «Показать отключенные устройства». Ваш предпочитаемый звук теперь включен, все серого цвета? Если это так, щелкните правой кнопкой мыши и выберите «Включить», а затем «Установить как
У вас есть блог, который вы хотите значительно повысить?
У вас есть блог, который вы хотите значительно повысить? Если у вас есть страница WordPress, и вы хотите извлечь из нее максимальную пользу, не упускайте ее из виду. Вы можете скачать следующие дополнительные плагины, которые мы рекомендуем. Это позволяет выполнять различные функции, такие как улучшение SEO, обеспечивать больше трафика на ваш сайт через социальные сети, повышать безопасность вашей страницы или сокращать время загрузки. Обратите внимание и попробуйте улучшить свой
Сколько раз вы жаловались на плохое качество руководств?
Сколько раз вы жаловались на плохое качество руководств? Как часто информация, содержащаяся в ней, была бесполезна или больше не действительна? Иногда перед поездкой, как в Польшу, так и в отдаленные уголки земного шара, вы можете наклониться, чтобы почитать опыт и советы людей, которые уже были в этих местах. Из каких блогов? Один из самых активных людей в польском интернете только что создал отличное решение для путешественников.

Сколько слов нужно знать, чтобы понять текст на английском?
Сколько слов нужно знать, чтобы понять текст на польском языке?
Сколько слов нужно знать, чтобы понять текст на немецком языке?
Сколько слов нужно знать, чтобы понять текст на французском?
Сколько слов нужно знать, чтобы понять арабский текст?
Антивирус работает в облаке?
Вы вошли в свою учетную запись Google с другого устройства?
Как часто вы заменяете цепь в своем велосипеде?
Как определить его состояние?
Конечно, вы можете слушать всю музыку, которую хотите, но что, если вы не можете получить доступ к Интернету?