Lista de frecuencias

Una lista de frecuencias, lista de palabras o léxico es una lista del léxico de un idioma (generalmente ordenado por frecuencia de aparición, ya sea por niveles o como una lista clasificada) dentro de un corpus de texto determinado, que sirve para la adquisición de vocabulario. Un léxico ordenado por frecuencia "proporciona una base racional para garantizar que los alumnos obtengan el mejor rendimiento por su esfuerzo de aprendizaje de vocabulario" (Nation, 1997 ), pero está destinado principalmente a los redactores de cursos, no directamente a los alumnos.

Las listas de frecuencia también se elaboran con fines lexicográficos, y sirven como una especie de lista de verificación para garantizar que no se omitan palabras comunes. Algunos errores importantes son el contenido del corpus, el registro del corpus y la definición de " palabra". Si bien el conteo de palabras tiene mil años de antigüedad y los análisis aún gigantescos se realizan a mano a mediados del siglo XX, el procesamiento electrónico en lenguaje natural de grandes corpus, como los subtítulos de películas (el estudio SUBTLEX), ha acelerado el campo de la investigación.

En lingüística computacional, una lista de frecuencias es una lista ordenada de palabras (tipos de palabras) junto con su frecuencia, donde frecuencia aquí generalmente significa el número de apariciones en un corpus determinado, del cual se puede derivar el rango como la posición en la lista.

Metodología

Nation, 1997 destacó la increíble ayuda que brindan las capacidades informáticas, lo que hace que el análisis de corpus sea mucho más fácil. Esto causo un cambio radical en la cuenta de palabras. Citó varias cuestiones clave que influyen en la elaboración de listas de frecuencias:

• representatividad del corpus
• frecuencia y rango de palabras
• tratamiento de familias de palabras
• Tratamiento de modismos y expresiones fijas.
• rango de información
• varios otros criterios

Corpus

Corpus escrito tradicional

Frecuencia de los pronombres personales en serbocroata

La mayoría de los estudios disponibles iniciales fueron basados en corpus de texto escrito, más fácilmente disponibles y fáciles de procesar.

Movimiento SUBTLEX

Sin embargo, New et al., 2007 propuso aprovechar la gran cantidad de subtítulos disponibles en línea para analizar un gran número de discursos. Brysbaert y New, 2009 realizó una larga evaluación crítica de este enfoque tradicional de análisis textual y apoya un avance hacia el análisis del habla y el análisis de los subtítulos de películas disponibles en línea. Esto ha sido seguido recientemente por un puñado de estudios de seguimiento, ​ que proporcionan un valioso análisis de recuento de frecuencia para varios idiomas.

De hecho, el movimiento SUBTLEX completó en cinco años estudios completos de francés ( New et al., 2007 ), inglés americano ( Brysbaert y New, 2009 ; Brysbaert, New y Keuleers, 2012 ), holandés ( Keuleers y New, 2010 ), chino ( Cai y Brysbaert, 2010 ), español ( Cuetos et al., 2011 ), griego ( Dimitropoulou et al., Carreiras ), vietnamita ( Pham, Bolger y Baayen, 2011 ), portugués de Brasil ( Tang, 2012 ) y portugués de Portugal ( Soares et al., Simões ), albanés ( Avdyli y Cuetos, 2013 ), polaco ( Mandera et al., 2014 ) y catalán (2019 ​ ). SUBTLEX-IT (2015) proporciona únicamente datos sin procesar. ​

Unidades léxicas

En cualquier caso, se debe definir la unidad básica "palabra". Para las escrituras latinas, las palabras suelen tener uno o varios caracteres separados por espacios o puntuación. Pero pueden surgir excepciones, como el inglés "can't", el francés "aujourd'hui" o modismos. También puede ser preferible agrupar palabras de una familia de palabras bajo la representación de su palabra base . Por lo tanto, posible, imposible y posibilidad son palabras de la misma familia de palabras, representadas por la palabra base *possib* . Para fines estadísticos, todas estas palabras se resumen bajo la forma de palabra base *possib*, lo que permite clasificar un concepto y la aparición de una forma.

Además, otras lenguas pueden presentar dificultades específicas. En lenguajes con ideogramas, como es el caso del chino, que no utiliza espacios entre palabras y donde una cadena específica de varios caracteres puede interpretarse como una frase de palabras de un solo carácter o como una palabra de varios caracteres.

Estadísticas

Parece que la ley de Zipf se cumple para listas de frecuencias extraídas de textos más largos de cualquier lenguaje natural. Las listas de frecuencias son una herramienta útil a la hora de crear un diccionario electrónico, que es un requisito previo para una amplia gama de aplicaciones en lingüística computacional .

Los lingüistas alemanes definen la Häufigkeitsklasse (clase de frecuencia) $N$ de un elemento de la lista utilizando el logaritmo en base 2 de la relación entre su frecuencia y la frecuencia del elemento más frecuente.

El ítem más común pertenece a la clase de frecuencia 0 (cero) y cualquier ítem que sea aproximadamente la mitad de frecuente pertenece a la clase 1. Por ejemplo en una lista de ejemplo, una palabra mal escrita como aberiguo puede tener una proporción de decenas sobre millones, y así pertenece a una clase muy elevada.

$N=\left\lfloor 0.5-\log _{2}\left({\frac {\text{Frecuencia del item}}{\text{Frecuencia del item mas comun}}}\right)\right\rfloor$

dónde $\lfloor \ldots \rfloor$ es la función suelo .

Las listas de frecuencias, junto con las redes semánticas, se utilizan para identificar los términos especializados menos comunes que serán reemplazados por sus hiperónimos en un proceso de compresión semántica .

Pedagogía

Las listas de palabras no están destinadas a entregarse directamente a los estudiantes, sino más bien a servir como guía para profesores y autores de libros de texto ( Nation, 1997 ). El resumen de enseñanza de idiomas modernos de Paul Nation alienta primero a "pasar del vocabulario de alta frecuencia y el vocabulario [temático] de propósitos especiales al vocabulario de baja frecuencia, y luego a enseñar a los estudiantes estrategias para sostener la expansión autónoma del vocabulario" ( Nation, 2006 ).

Efectos de la frecuencia de las palabras.

Se sabe que la frecuencia de las palabras tiene varios efectos ( Brysbaert et al., Bölte ; Rudell, 1993 ). La memorización se ve afectada positivamente por una mayor frecuencia de palabras, probablemente porque el alumno está sujeto a más exposiciones ( Laufer, 1997 ). El acceso léxico se ve influenciado positivamente por la alta frecuencia de palabras, un fenómeno llamado efecto de frecuencia de palabras ( Segui, Mehler y Frauenfelder, Morton1982 ). El efecto de la frecuencia de las palabras está relacionado con el efecto de la edad de adquisición, la edad a la que se aprendió la palabra.

Idiomas

Inglés

El conteo de palabras es un campo antiguo, ​ con discusiones conocidas desde la época helenística . En 1944, Edward Thorndike, Irvin Lorge y sus colegas ​ contaron manualmente 18.000.000 de palabras para obtener la primera lista de frecuencias del idioma inglés a gran escala, antes de que las computadoras modernas hicieran mucho más fáciles estos proyectos ( Nation, 1997 ).

Las obras del siglo XX sufren por su edad. En particular, las palabras relacionadas con la tecnología, como "blog", que, en 2014, ocupaba el puesto 7665 en frecuencia ​ en el Corpus of Contemporary American English, ​ se atestiguó por primera vez en 1999, ​ ​ ​ y no aparece en ninguna de las listas anteriores.

Francés

New, Pallier ha realizado una reseña respecto al desarrollo de listas en francés. En las décadas de 1950 y 1960 se hizo un intento con el Français fundamental . Incluye la lista FF1 con 1.500 palabras de alta frecuencia, completada por una lista FF2 posterior con 1.700 palabras de frecuencia media y las reglas de sintaxis más utilizadas. ​ Se afirma que 70 palabras gramaticales constituyen el 50% de la oración comunicativa, ​ ​ mientras que 3680 palabras representan aproximadamente el 95-98% de la cobertura. ​ Está disponible una lista de 3000 palabras frecuentes. ​

El Ministerio de Educación francés también proporciona una lista clasificada de las 1.500 familias de palabras más frecuentes, proporcionada por el lexicólogo Étienne Brunet. ​ Jean Baudot realizó un estudio siguiendo el modelo del estudio americano Brown, titulado "Fréquences d'utilisation des mots en français écrit contemporain". ​ Más recientemente, el proyecto Lexique3 proporciona 142.000 palabras francesas, con ortografía, fonética, silabación, parte de la oración, género, número de apariciones en el corpus fuente, rango de frecuencia, lexemas asociados, etc. El Lexique3 esta disponible bajo una licencia abierta CC-by- sa-4.0 . ​ El Lexique3 es un estudio continuo del que se origina el movimiento Subtlex antes citado. New et al., 2007 se realizó un recuento completamente nuevo basado en los subtítulos de películas online.

Español

Se han realizado varios estudios sobre la frecuencia de palabras en español ( Cuetos et al., 2011 ). ​

Chino

Los corpus chinos se han estudiado durante mucho tiempo desde la perspectiva de las listas de frecuencias. La forma histórica de aprender vocabulario chino se basa en la frecuencia de los caracteres (Allanic, 2003). El sinólogo estadounidense John DeFrancis mencionó su importancia para el aprendizaje y la enseñanza del chino como lengua extranjera en Why Johnny Can't Read Chinese (DeFrancis, 1966). Como conjunto de herramientas de frecuencia, Da ( Da, 1998 ) y el Ministerio de Educación de Taiwán (TME, 1997) proporcionaron grandes bases de datos con clasificaciones de frecuencia para caracteres y palabras. La lista HSK de 8.848 palabras de alta y media frecuencia en la República Popular China y la lista TOP de la República de China (Taiwán) de aproximadamente 8.600 palabras comunes del chino tradicional son otras dos listas que muestran palabras y caracteres chinos comunes. Siguiendo el movimiento SUBTLEX, Cai y Brysbaert, 2010 realizaron recientemente un rico estudio de las frecuencias de palabras y caracteres chinos.

Otros Idiomas

Wikcionario: Las listas de frecuencias contienen listas de frecuencias en más idiomas. ​

• Listas de Frecuencias en es.wikitionary.org
• Frecuencia de letras
• Cola larga
• Google Ngram Viewer: muestra cambios en la frecuencia de palabras/frases (y la frecuencia relativa) a lo largo del tiempo

Referencias

• Datos: Q697133