Frege’owska teoria znaczenia, przy całym swoim wyrafinowaniu, opierała się na niezadowalającym ujęciu myśli jako obiektów abstrakcyjnych. Tractatus nie musiał radzić sobie z takim problemem, ponieważ traktował znaczenie i język jako całość niezależnie od tego, w jaki sposób język jest faktycznie używany przez ludzi. Niespełna 10 lat po ukończeniu dzieła Wittgenstein doszedł jednak do przekonania, że ten wymiar języka jest najważniejszy. Bez uwzględnienia go, jak sądził, cały system Tractatus zawaliłby się jak domek z kart. W pismach i nauczaniu od 1930 roku kładł więc nacisk na związki między słowami a praktyczną działalnością człowieka. Słowa są ożywiane, czy też nadawane im znaczenia, przez takie działania – i tylko przez nie. W różnych małych historyjkach opisujących to, co nazywa “grami językowymi”, Wittgenstein wyobrażał sobie ludzi liczących, wzywających narzędzia, udzielających wskazówek itd. Porównując znaczenie słowa do siły pionka w szachach, upierał się, że znaczenie istnieje tylko w kontekście ludzkiej aktywności. Wyobrażając sobie język poza jego użytkownikami, Tractatus przeoczył więc jego istotę. Slogan odpowiednio związany z późniejszymi pracami Wittgensteina brzmi: “Znaczenie jest użyciem”, choć on sam nigdy nie wyraził tego poglądu w tak jednoznacznej formie.
Jednym z głównych tematów Wittgensteina jest otwarty lub otwartotekstowy charakter dyspozycji językowych. Chociaż może się wydawać, zwłaszcza filozofom, że użycie słowa jest zdeterminowane przez zastosowanie wyraźnych i określonych reguł – a zatem, że znajomość znaczenia słowa jest tożsama ze znajomością odpowiadającej mu reguły – uważne badanie rzeczywistych sytuacji w mowie pokazuje, że w żadnym wypadku pojedyncza reguła nie może wyjaśnić niezliczonej różnorodności zastosowań, do których może być użyte pojedyncze słowo. Wittgenstein pyta na przykład, jaka reguła wyjaśniałaby wielką różnorodność rzeczy, które można nazwać grą. Gdy szukamy czegoś, co wszystkie gry mają wspólnego, znajdujemy jedynie “skomplikowaną sieć podobieństw, które nakładają się na siebie i krzyżują: czasem podobieństwa ogólne, czasem podobieństwa szczegółów”. Różne gry wydaje się łączyć jedynie niejasne “podobieństwo rodzinne”. Użycie tego słowa nie jest więc określone przez skomplikowaną regułę czy definicję – nawet taką, która jest stosowana nieświadomie – ale przez dość swobodną skłonność do włączania pewnych rzeczy i wykluczania innych. Jeśli w ogóle istnieje jakaś reguła, to jest ona banalna: nazywajcie grami tylko te rzeczy, które są grami. Tak więc znajomość znaczenia słów i ogólnie przynależność do wspólnoty językowej nie jest kwestią znajomości reguł, lecz jedynie podzielania dyspozycji do stosowania słów w sposób podobny do tego, w jaki robią to inni ludzie. Nie ma pojęciowej podstawy dla tej czynności: pojęcie jest generowane przez użycie, a nie użycie przez pojęcie.
Oznacza to w szczególności, że użycie słów nie może być oparte na ideach Locke’a. Obalenie tego poglądu przez Wittgensteina jest jednym z najbardziej druzgocących krótkich dowodów w filozofii. Najpierw stawia on problem, jak ktoś może zrozumieć polecenie przyniesienia z łąki czerwonego kwiatu: “Skąd ma wiedzieć, jaki kwiat ma przynieść, skoro dałem mu tylko słowo?”. Jedna z możliwości jest taka, że słuchacz kojarzy słowo czerwony z ideą (mentalnym obrazem czerwieni), a następnie szuka kwiatu pasującego do tego obrazu. Wittgenstein mówi,
Ale to nie jest jedyny sposób szukania i nie jest to zwykły sposób. Idziemy, rozglądamy się wokół siebie, podchodzimy do kwiatu i zrywamy go, nie porównując go z niczym. Aby zobaczyć, że proces wypełniania polecenia może być tego rodzaju, rozważ polecenie “wyobraź sobie czerwoną plamę”. Nie kusi cię w tym przypadku, by pomyśleć, że przed wykonaniem polecenia musiałeś wyobrazić sobie czerwoną plamę, by posłużyła ci jako wzór dla czerwonej plamy, którą kazano ci sobie wyobrazić.
Najbardziej znane fragmenty późnego dzieła Wittgensteina Dociekania filozoficzne (1953) próbują obalić pojęcie doświadczenia prywatnego. Ich interpretacja jest nieskończenie kontrowersyjna, ale podstawową ideą jest to, że przedmioty myśli nie mogą zawierać elementów, które są czysto “prywatne” dla pojedynczej jednostki – jak na przykład wrażenia. Gdyby bowiem istniały prywatne przedmioty myśli, to w tym, co się mówi o własnych myślach, nie byłoby rozróżnienia między tym, że się ma rację, a tym, że się ją tylko wydaje. Przedmioty myśli muszą więc być zasadniczo publiczne, sprawdzalne, o których można w zasadzie rozmawiać z innymi.
Nie tylko doświadczenie i obserwacja, ale także rozum i logika ulegają przekształceniu w późniejszej filozofii Wittgensteina. Dla Fregego i Russella propozycje logiki i matematyki są nieskazitelnie niezależne od doświadczenia zmysłowego, a ich prawdziwość zależy jedynie od struktur abstrakcyjnego świata, który opisują – świata, który stał się dostępny dla istot ludzkich dzięki światłu czystego rozumu. Wizja ta została później nieco skompromitowana przez logicznych pozytywistów, którzy przyrównali logikę i matematykę do tautologii i konwencji. U późniejszego Wittgensteina jednak całe rozróżnienie między prawdą logiczną a empiryczną staje się niejasne. Logika, na przykład, jest zbiorem praktyk, a więc i językiem, doskonale uporządkowanym w swej istocie; to, co w logice liczy się jako poprawne zastosowanie terminu lub dopuszczalne wnioskowanie, zależy więc tylko od tego, co robią logicy. Podobnie jak w przypadku znaczeń słów w bardziej zwyczajnych kontekstach, liczą się ustalone dyspozycje tych, którzy używają danego języka. Ponieważ jednak dyspozycje te mogą się zmieniać, znaczenie nie jest – przynajmniej w zasadzie – stałe i niezmienne. Reguły odzwierciedlające powszechne użycie, w tym nawet fundamentalne zasady fizyczne i same prawa logiki, mogą się zmienić, pod warunkiem że wystarczająca część danej społeczności językowej zacznie używać starych słów na nowe sposoby. Najbezpieczniejsze i najpewniejsze prawdy mogą zostać spójnie odrzucone, jeśli zasady, na których się opierają, uległy odpowiedniej zmianie. Nie istnieją żadne “wyższe” reguły, według których można by oceniać te zmiany.
W tym momencie otwiera się niewygodna wizja. Sama idea prawdy wydaje się zakładać jakieś pojęcie poprawności w stosowaniu słów. Jeśli ktoś nazywa hipopotama krową, chyba że metaforycznie lub analogicznie, to przypuszczalnie coś się pomylił. Ale jeśli reguła stosowania słowa krowa wywodzi się całkowicie z praktyki językowej, co sprawiłoby, że ten przypadek byłby jedynie błędem, a nie zmianą reguły – a więc zmianą tego, co słowo krowa oznacza? Wydaje się, że adekwatna odpowiedź na to pytanie wymagałaby jakiegoś wyjaśnienia, czym jest dla reguły bycie “w mocy”. Wittgenstein sugeruje w niektórych fragmentach, że pojęcie to nie ma żadnej treści: w normalnych czasach wszyscy tańczą w takt i to wszystko. Sugestia ta pojawia się ze szczególną siłą w dyskusji o przestrzeganiu reguł w Dochodzeniach filozoficznych. Niemniej jednak jest jasne, że Wittgenstein wierzył, iż rozróżnienie między błędem a innowacją jest możliwe.