Консультация № 171637
26.08.2009, 15:15
0.00 руб.
0 1 1
День добрый господа эксперты!

Интересует такой простой вопрос. Что такое токены и для чего они нужны?

Обсуждение

Неизвестный
26.08.2009, 15:43
общий
это ответ
Здравствуйте, Паутов Сегей Владимирович.
В лингвистике — слово как самостоятельная единица языка, рассматриваемая во всей совокупности своих форм и значений. В одну лексему объединяются разные парадигматические формы (словоформы) одного слова (например, «словарь, словарём, словарю» и т. п.). В информатике — последовательность допустимых символов языка программирования, имеющая смысл для транслятора. Транслятор рассматривает программу как последовательность лексем. См. Лексический анализ.


Приложение:
http://ru.wikipedia.org/wiki/Токен
Форма ответа