Este é um exemplo de como avaliação de proficiência em língua estrangeira pode ser feita e o que deve ser levado em consideração.

Quando avalia-se proficiência em uma determinada língua estrangeira, pode-se levar em consideração a formação lingüística do(s) avaliado(s) ou não. Se for levado em consideração, a aplicabilidade dos testes fica limitada mas a precisão do resultado é maior.

O sistema S&K de avaliação de proficiência em inglês é composto de uma série de testes desenvolvidos especificamente para quem possui uma formação lingüística latina. Isto é, quem fala uma língua latina como língua mãe - mais especificamente, o português. Com extrema acuidade, os testes avaliam exatamente aqueles pontos em que os contrastes entre português e inglês são maiores e a interferência do primeiro sobre o segundo, mais prejudicial. Este método de avaliação usa técnicas de contrastive analysis e error analysis e é, em vários aspectos, mais completo e preciso do que o TOEFL e do que o MICHIGAN, os quais não levam em consideração diferenças lingüísticas específicas e nem sempre avaliam o desempenho oral-criativo do entrevistado. Quer dizer: o paper-based TOEFL, por exemplo, quando não acompanhado de seus complementos TSE e TWE, não avalia o desempenho do entrevistado efetivamente falando nem escrevendo o inglês, além de ser o mesmo exame para pessoas de diferentes nacionalidades.

As avaliações S&K levam de 2 a 3 horas para cada avaliado, dependendo do nível, e podem ser acompanhadas de uma gravação em videotape, o que proporciona um retrato fiel e preciso do nível de proficiência em inglês do entrevistado. A gravação em vídeo também possibilita monitorar o desenvolvimento futuro. À medida em que a pessoa desenvolve seu inglês, pode comparar seu desempenho com o anterior gravado em fita, e sentir a diferença.

A avaliação mede o desempenho da pessoa em inglês em 8 aspectos distintos, como descrito abaixo. Este diagnóstico das deficiências específicas de cada um, de seus pontos fracos e fortes é uma informação de importância fundamental, normalmente difícil de ser obtida.

Quando adotado por uma empresa, este sistema de avaliações periódicas proporciona, ao aluno, a possibilidade de medir seu progresso e, à empresa, informação precisa quanto aos recursos em língua estrangeira disponíveis. Possibilita desta forma:

Clara determinação de objetivos: quem precisa desenvolver e a que nível deve chegar.
Determinar as deficiências específicas de cada um, informação de fundamental importância tanto ao aluno como a seu instrutor responsável pelo treinamento.
Formação de grupos homogêneos.
Monitorar o aprendizado, isto é, medir os resultados obtidos por cada aluno individualmente, de tempos em tempos. Esta monitorização permite cobrar e premiar resultados.
Dispor de um cadastro atualizado de funcionários com habilidade em inglês.
As variáveis avaliadas e apresentadas em gráfico são as seguintes:

0 - Não-desenvolvido
0.5
1 - Pouco desenvolvido
1.5
2 - Regular (Eficiência básica)
2.5
3 - Bom (Operacional)
3.5
4 - Muito bom (Gerencial)
4.5
5 - Excelente (Marketing) (TOEFL 600+) (CPE)
5.5 - Este grau equivale ao desempenho de um native speaker com grau de escolaridade superior, e não está representado no gráfico acima pelo fato de situar-se além dos objetivos de qualquer programa de ensino de inglês como língua estrangeira.

TABELA DE EQUIVALÊNCIAS
S&K 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
TOEFL (paper-based) * * * * 300 360 420 480 540 600
TOEFL (computer-based) * * * * 38 70 110 157 207 250
Linguarama 0.4 0.8 1.2 1.6 2 2.4 2.8 3.2 3.6 4

* Resultados normalmente não registrados no TOEFL

Listening - Refere-se apenas à capacidade de entendimento que o entrevistado demonstrou ter do inglês falado. Reflete um grau quantitativo do que foi compreendido de gravações em inglês de três native speakers norte-americanos falando a respeito de assuntos gerais com diferentes graus de complexidade. Representa o conhecimento passivo da língua na sua forma oral, etapa primordial e indispensável no processo de aprendizado. É um dos aspectos lingüísticos mais importantes no desempenho profissional pois afeta diretamente o relacionamento com estrangeiros.
Pronunciation - Esta variável refere-se à capacidade do entrevistado em pronunciar corretamente o idioma. Reflete um grau qualitativo da habilidade ou do talento demonstrados em reproduzir as características fonéticas do inglês. Uma boa pronúncia depende de contato com native-spoken English, de bons instrutores, de acuidade auditiva, e da existência de hábitos corretos e ausência de vícios.

Vocabulary - Reflete um grau essencialmente quantitativo do domínio que o entrevistado demonstrou ter sobre o vocabulário cotidiano-comercial de inglês, não apenas no reconhecimento, mas também na produção criativa; e não apenas a nível de palavras, mas também de frases e expressões idiomáticas habituais com alta freqüência de ocorrência.

Grammar in Speaking - Esta variável determina o grau de correção gramatical da linguagem produzida pelo entrevistado, identificando com precisão suas deficiências. Observa-se o domínio verbal que o entrevistado demonstra ter no uso das estruturas gramaticais do idioma (Be Phrases, Do Phrases, tempos de verbos, verbos modais, etc.), e principalmente daqueles aspectos estruturais em que o português e o inglês contrastam mais. Olha-se mais para a forma do que para o conteúdo de comunicação. Esta variável é medida através de um teste oral objetivo, em que o entrevistado deve expressar idéias que requerem o uso de determinadas estruturas gramaticais, as quais são ponderadas de acordo com a importância e freqüência com que ocorrem. Aspectos deficientes são especificados no relatório final.

Fluency - Esta variável, talvez a mais importante, refere-se à continuidade de produção oral e intelectual do entrevistado. Mostra sua capacidade comunicativa, refletindo um grau inverso ao número de interrupções, idéias não concluídas e falta de clareza. Embora dependa de pronúncia, gramática e vocabulário, não está a eles necessariamente relacionada, podendo também ser influenciada por hábitos da língua mãe, falta de familiaridade com a cultura, bem como por fatores psicológicos como inibição, perfeccionismo (excessiva preocupação com forma em detrimento de conteúdo), preconceito lingüístico, etc.

Appropriateness - Esta variável assume maior importância em níveis mais avançados, refletindo um grau qualitativo da propriedade no uso da linguagem em geral. Refere-se não a uma questão de como dizer, mas de quando dizer; ou de saber usar as expressões conhecidas nos momentos apropriados. Reflete também a impressão causada no entrevistador, a qual depende de aspectos como competência cultural, desembaraço, postura, senso de humor, tom de voz, etc.

Reading - Representa a capacidade de reconhecer a língua na sua forma escrita; de captar e interpretar corretamente e integralmente idéias representada pelo inglês escrito. Reflete também a capacidade de traduzir corretamente textos para o português. Interpretação de textos é hoje a habilidade mais importante para quem se prepara para a prova de inglês do vestibular.

Writing - A capacidade de produzir linguagem escrita é conseqüência direta das variáveis acima, ou seja, quem fala o idioma, facilmente o escreve. Mesmo assim, dentre as quatro habilidades lingüísticas (entender, falar, ler e escrever), escrever é sempre a mais difícil e a que mais conhecimento gramatical e ortográfico exige. Esta variável retrata a capacidade do entrevistado em expressar suas idéias em inglês com clareza e redação correta.

Este mesmo sistema de avaliação pode ser adaptado para medir a qualificação profissional de professores de inglês. Neste caso, é acrescido de duas variáveis: TEFL (Teaching English as a Foreign Language) Methods e Cultural Competence.

TEFL determina o potencial e a versatilidade que o entrevistado tem para atuar como instrutor de inglês. Reflete o conhecimento de metodologias de ensino de línguas (métodos audiolingüísticos, cognitivos, etc.), fonologia, análises contrastivas entre português e inglês. Considera-se também a experiência do entrevistado no ensino de inglês.

Cultural Competence reflete o grau de familiaridade com a cultura estrangeira. Língua reflete cultura. São duas faces de uma mesma moeda. Esta variável portanto mede a familiaridade e o conhecimento que o entrevistado tem da cultura norte-americana ou britânica, o que decisivamente influi na sua qualificação como instrutor. Está normalmente relacionado ao tempo de permanência no exterior, bem como à intensidade de convívio com native speakers.

Além do gráfico tipo histograma mostrando o valor alcançado pelo entrevistado em cada uma das variáveis, o relatório de avaliação apresenta um conjunto de 10 parágrafos descrevendo em detalhadas as características e o provável desempenho profissional do avaliado. Por exemplo, no caso do Sr. Fulano de Tal mostrado no gráfico acima, sua média fica em torno de 3. Isto significa que esta pessoa provavelmente:

3.0 = Bom (Operacional): Acompanha superficialmente alguns filmes em inglês e já tem noção aproximada do que se passa em programas de rádio e televisão. Já não apresenta risco de ocorrência de mal-entendidos. Está apto a trabalhar com native speakers, embora com limitações. Comunica-se em geral claramente mas com fluência limitada, e normalmente não conseguiria argumentar ou defender pontos de vista. Vícios de pronúncia e eventual falta de clareza podem as vezes torná-lo cansativo ao estrangeiro. Começa a perceber diferenças culturais. Tem familiaridade com uma quantidade regular de expressões idiomáticas. Demonstra já alguma firmeza com estruturas gramaticais mais avançadas, mas provavelmente não é sensível aos perfect tenses, e ainda tem dificuldade com os verbos modais. Lê revistas com uma certa dificuldade. Redige com clareza mensagens simples tipo telex e textos sem complexidade, com alguns erros (de menor gravidade) mas fazendo já uso de algumas palavras de transição para conectar logicamente frases. (Aproximadamente paper-based TOEFL 360).

Assim como a descrição acima do desempenho provável de alguém situado em média próximo do nível 3, existem outras 9 descrições no sistema S&K de avaliação.

VANTAGENS DO SISTEMA S&K EM RELAÇÃO AO TOEFL:

Avalia também o desempenho ativo do entrevistado (fala e escrita), enquanto que o TOEFL, quando não acompanhado do TSE e do TWE, avalia apenas o reconhecimento passivo da língua (entendimento e interpretação de texto).
Leva em consideração diferenças lingüísticas, avaliando exatamente aqueles pontos em que os contrastes entre português e inglês são maiores e a interferência do primeiro sobre o segundo, mais prejudicial. Por sua vez, o TOEFL é um único exame para o mundo inteiro, desconsiderando a formação lingüística do avaliado.
Avalia a habilidade com inglês do entrevistado em 8 aspectos diferentes, enquanto que o TOEFL avalia apenas 3: Listening Comprehension, Structure and Written Expression, e Vocabulary and Reading Comprehension.
Pode ser feito no local por qualquer agente autorizado, enquanto que o TOEFL só é realizado nas seguintes cidades: Belo Horizonte, Brasília, Curitiba, Fortaleza, Londrina, Manaus, Porto Alegre, Recife, Rio de Janeiro, Salvador, São Paulo.
Pode ser feito a qualquer momento, enquanto que o TOEFL só pode ser feito uma vez por mês, em dia certo.
Custa menos da metade do TOEFL, quando este for acompanhado do TSE.
Resultado é fornecido em 2 ou 3 dias, enquanto que o paper-based TOEFL fornece o resultado em 45 dias, na melhor das hipóteses.
É acompanhado de recomendações para desenvolvimento de habilidades específicas, proporcionando ao aluno e a seu instrutor orientação precisa para sanar os aspectos mais deficientes.
É acompanhado de descrições detalhadas, uma para cada nível, do provável desempenho do avaliado em situações profissionais e sociais.
DESVANTAGENS DO SISTEMA S&K EM RELAÇÃO AO TOEFL:

O TOEFL tem reconhecimento internacional, sendo ministrado em cerca de 180 países a cerca de 900 mil pessoas por ano.
Além de avaliar a habilidade com inglês, o TOEFL é oficialmente reconhecido por instituições de ensino superior do exterior, vindo a constituir-se num dos requisitos para todo estrangeiro que pretende freqüentar curso superior nos EUA ou Canadá, desde que alcançado o escore mínimo (500 a 600).