Recently, Mistral has released a series models such as Mistral-7B, Mixtral-8x7B with mixture of experts. They are light weight compared to closed sources models like GPT-3.5 and GPT-4 and has less than half the parameters compared to Llama-70B. Although open-source and impressive in its generation capabilities, it still struggles for multilingual performance. More specifically, for Indian languages. At times we have noticed that Mixtral model generates repeated text in case of non-English languages and does not complete the sentences properly.

Question: “Tell me little bit about Seoul in English, Hindi, Gujarati and Korean.”

Response from SUTRA-LIGHT:

English:
Seoul is the vibrant capital of South Korea,
known for its modern skyscrapers, ancient
palaces, and pop culture.

Hindi:
सियोल दक्षिण कोरिया की जीवंत राजधानी है, जिसे
इसकी आधुनिक गगनचुंबी इमारतों, प्राचीन महलों, और
पॉप संस्कृति के लिए जाना जाता है।

Gujarati:
સિયોલ દક્ષિણ કોરિયાની જીવંત રાજધાની છે, જે તેના
આધુનિક ગગનચુંબી ઇમારતો, પ્રાચીન મહેલો, અને પોપ
સંસ્કૃતિ માટે જાણીતું છે।

Korean:
서울은 현대적인 고층 건물, 고대 궁전, 그리고 팝 문화로
알려진 대한민국의 활기찬 수도입니다.

Response from Mixtral-8x7B: (Note how words get repeated in non-English languages leading incomprehensible text generation

English:
Seoul, South Korea's bustling capital, is known for its modern
architecture, vibrant street markets, and rich history.

Hindi:
साथ दिया हुआ दक्षिण कोरिया के राजधानि सेओल, सफेद अर्किटेक्चर, जीवनपुरुष सोड़े बाजारें
और ग्रिहित इतिहास इतिहास इतिहास इतिहास इतिहास इतिहास |

Gujarati:
શેયોલ, દોધો ઇતહા ઇતહા જનપોત્તવોદ શોધો, શોધો શોધો શોધો શોધો શોધો શોધો શોધો  શોધો

Korean:
서울, 대한민국 대표적인 수도는 현대적인 아키텍처, 삶이 흘러가는 거리 마켓, 그리고 그리고 깊은
역사를 보유하고 있습니다 있습니다 .
SUTRA vs GPT ModelsSUTRA vs Perplexity Models