Як визначити мову?
Буває таке, що ми стикаємося з тим, що текст написаний на незнайомому для нас мовою. Навіть банально, на імпортних товарах написано незрозумілою мовою, а ви хочете дізнатися про склад виробу, продукту. Зрозуміло, що відомі нам мови ми зможемо легко відрізнити, мається на увазі англійський, німецький. Тоді постає питання, як визначити мову тексту, якщо ви вперше зустрічаєтеся з такого роду символами.
Звичайно, можна запитати у фахівців, які розбираються в різних мовах світу, але навіщо, якщо зараз у всіх є вихід в Інтернет, де можна знайти автоматичні визначники мови. Мається на увазі спеціальні програми, які визначають мову тексту. Так, як визначити, яка мова використовується в тексті за допомогою програм? Ми постараємося пояснити алгоритм дії, тобто, як програми визначають ту чи іншу мову.
Будь-визначник мови, за кількома можливих форм слова, може назвати язик. Це відбувається за допомогою зіставлення слів зі словником, який вшитий в програму. Якщо конкретніше, це відбувається, так: текст, який ви ввели в поле програми, розбивається на слова, які в свою чергу проходять визначення на збіг зі словами з різних мов, в результаті ви отримуєте повідомлення зі списком з одного або декількох мов, які максимально підходять. Звичайно, робота такої програми не так проста, як здається на перший погляд, адже потрібно враховувати лексичне наповнення тексту, побудова пропозиції, тому дані програми, можуть використовуватися тільки в приблизному аналізі тексту. Наведемо найбільш часто використовувані програми: "Поліглот 3000", "Xerox", "TextCat".
Тепер ви знаєте, як визначити мову тексту за допомогою спеціальної програми.
